[日記]作業用BGMを真面目に聞こうとしてみる

作業用BGMはこれ.



書き始めてから思ったけど,第二回をちゃんとやってないな.

データセット.
$$(x^{(i)}, y^{(i)}) $$ で表されるデータ点がたくさん


回帰のモデル
$$y = \theta_0 + \theta_1 x_1$$ $$y = \theta_0 + \theta_1 x_1 + \theta_2 x_2$$


過学習の話.
データ点が7点しかないのに…
→このデータセットの上ではめちゃくちゃ凄いモデルだね
$$y = \theta_0 + \theta_1 + \theta_2 x_1^2 + \cdots + \theta_6 x_1^6$$


パラメトリックとノンパラメトリック.
locally weighted regression. (LOESS, LOWESS)

LRでは… $$\theta$$ minimize $$\sum_i (y^{(i)}-\theta^Tx^{(i)})^2$$ → return $$\theta^T x$$

LWRでは… $$\theta$$ minimize $$\sum_i w^{(i)}(y^{(i)}-\theta^T x^{(i)})^2$$

重み $$w^{(i)} = \exp(-\frac{(x^{(i)}-x)^2}{2\tau^2})$$

→xがxiに近いほど重みが付くような関数.τはbandwidthパラメータ.

regressionじゃなくてclassificationの話. → $$y\in\{0, 1\}$$

$$h_\theta(x) = g(\theta^T x) , g(z) = \frac{1}{1+e^{-z}}$$

力尽きました.

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です