作業用BGMはこれ．
書き始めてから思ったけど，第二回をちゃんとやってないな．
データセット．
$$(x^{(i)}, y^{(i)}) $$ で表されるデータ点がたくさん
回帰のモデル
$$y = \theta_0 + \theta_1 x_1$$ $$y = \theta_0 + \theta_1 x_1 + \theta_2 x_2$$
過学習の話．
データ点が7点しかないのに…
→このデータセットの上ではめちゃくちゃ凄いモデルだね
$$y = \theta_0 + \theta_1 + \theta_2 x_1^2 + \cdots + \theta_6 x_1^6$$
パラメトリックとノンパラメトリック．
locally weighted regression. (LOESS, LOWESS)
LRでは… $$\theta$$ minimize $$\sum_i (y^{(i)}-\theta^Tx^{(i)})^2$$ → return $$\theta^T x$$
LWRでは… $$\theta$$ minimize $$\sum_i w^{(i)}(y^{(i)}-\theta^T x^{(i)})^2$$
重み $$w^{(i)} = \exp(-\frac{(x^{(i)}-x)^2}{2\tau^2})$$
→xがxiに近いほど重みが付くような関数．τはbandwidthパラメータ．
regressionじゃなくてclassificationの話． → $$y\in\{0, 1\}$$
$$h_\theta(x) = g(\theta^T x) , g(z) = \frac{1}{1+e^{-z}}$$
力尽きました．