いろいろな基底関数

線形回帰モデル

線形回帰モデルは線形基底関数モデルの特殊ケースである。入力が$n$個の実数値であるときに使うことができ、特徴量写像には$(2.2.3.1)$式の$\phi \colon \mathbb{R} ^ n \to \mathbb{R} ^ {n+1}$を用いる。一応もう一度書いておくと

$$\phi _ i (x) = \begin{cases} 1 & {\rm if} \,\, i = 0 \\ x _ i & {\rm otherwise} \end{cases} \tag{2.2.3.6}$$

である。上式の特徴量写像は様々な方法（デルタ関数など）で解釈できるが、特別な名前はついていない。

多項式回帰モデル

多項式回帰モデルは入力が実数値であるときに用いることができ、特徴量写像には次の$\phi \colon \mathbb{R} \to \mathbb{R} ^ {n+1}$を用いる。

$$\phi _ j (x) = x ^ j \quad (j \in \{0, 1,2, \ldots, n \}) \tag{2.2.3.7}$$

誤解のないよう言っておくと、$x ^ j$は$x$の$j$乗である。他の記事も含めた解説全体を通して$i$番目の入力は$x ^ {(i)}$のように添字を括弧でくくっているから読み間違えはないだろうと思う。$x ^ {(i)}$の$j$乗は

$$(x ^ {(i)}) ^ j \tag{2.2.3.8}$$

と表記する。

シグモイド基底関数

入力が実数値であるときに用いることができ、特徴量写像には次の$\phi \colon \mathbb{R} \to \mathbb{R} ^ {n}$を用いる（$n$は使用者が適当に決めてよい）。