注意：『深層学習 (機械学習プロフェッショナルシリーズ)
を読むにあたって、自分が読みたいな、こんな記事があったら参考になるな、という基準で書いております。私は機械学習も数学も専門家ではないので誤っている箇所も多々あるかと思いますが参考となると幸いです。
第7章 再帰型ニューラルネット
7.1 系列データの種類
とくになし
7.2 RNNの構造
とくになし
7.3 順伝播計算
とくになし
7.4 逆伝播計算
- p119図7.6 次のユニットへと同じユニットの帰還路分の2つがあり、それぞれを足しているのみ。次のユニットは1, ..., k, ..., K個あるのでそれを足し、帰還路は1, ..., j, ..., J個あるのでそれを足している。わからない場合は図7.3と図7.5と何度もにらめっこをするしかないかと。
p119の最後の式
p118より \\
\frac{\partial{E}}{\partial{u_j^t}}=\delta_j^t \\
(7.2)より初項のみ残り2項は消えるから \\
\frac{\partial{u_j^t}}{\partial{w_{ji}^{in}}}=\frac{\partial{\sum_i{w_{ji}^{in}x_i^t}}}{\partial{w_{ji}^{in}}} \\
係数iの項のみ残りあとは0となるので\sum_iは消えて \\
=x_i^t \\
ゆえに、\\
与式=\sum_{t=1}^T{\delta_j^tx_i^t}
p120の式も同様。
7.5 長・短期記憶（LSTM）
p124
\frac{\partial{v_k^t}}{\partial{u_j^{O,t}}}=\frac{\sum_j{w_{kj}^{out}z_j^t}}{\partial{u_j^{O,t}}} \\
=\frac{\sum_j{w_{kj}^{out}g_j^{O,t}f(s_j^t)}}{\partial{u_j^{O,t}}} \\
=\frac{\sum_j{w_{kj}^{out}f(u_j^{O,t})f(s_j^t)}}{\partial{u_j^{O,t}}} \\
=w_{kj}^{out}f'(u_j^{O,t})f(s_j^t)
7.6 入出力間で系列長が異なる場合
とくになし