作業用BGMはこれ.
書き始めてから思ったけど,第二回をちゃんとやってないな.
データセット.
$$(x^{(i)}, y^{(i)}) $$ で表されるデータ点がたくさん
回帰のモデル
$$y = \theta_0 + \theta_1 x_1$$ $$y = \theta_0 + \theta_1 x_1 + \theta_2 x_2$$
過学習の話.
データ点が7点しかないのに…
→このデータセットの上ではめちゃくちゃ凄いモデルだね
$$y = \theta_0 + \theta_1 + \theta_2 x_1^2 + \cdots + \theta_6 x_1^6$$
パラメトリックとノンパラメトリック.
locally weighted regression. (LOESS, LOWESS)
LRでは… $$\theta$$ minimize $$\sum_i (y^{(i)}-\theta^Tx^{(i)})^2$$ → return $$\theta^T x$$
LWRでは… $$\theta$$ minimize $$\sum_i w^{(i)}(y^{(i)}-\theta^T x^{(i)})^2$$
重み $$w^{(i)} = \exp(-\frac{(x^{(i)}-x)^2}{2\tau^2})$$
→xがxiに近いほど重みが付くような関数.τはbandwidthパラメータ.
regressionじゃなくてclassificationの話. → $$y\in\{0, 1\}$$
$$h_\theta(x) = g(\theta^T x) , g(z) = \frac{1}{1+e^{-z}}$$
力尽きました.