『機械学習スタートアップシリーズ これならわかる深層学習入門 (KS情報科学専門書)
が出ました。同じく講談社の定番書となっている『機械学習プロフェッショナルシリーズ 深層学習』については 講談社機械学習プロフェッショナルシリーズ『深層学習』の学習 第1章 はじめに、第2章 順伝播型ネットワークの学習 に参考記事を書いています。
「これならわかる」となっていて入門的な位置づけのようですが一見したところ数式がっちりです。一つずつ紐解いて行こうと思います。
目次は
- 1章 はじめに
- 2章 機械学習と深層学習
- なぜ深層学習か?/機械学習とは何か/統計入門/機械学習の基礎/表現学習と深層学習の進展
- 3章 ニューラルネット
- 神経細胞のネットワーク/形式ニューロン/パーセプトロン/順伝播型ニューラルネットワークの構造/ニューラルネットによる機械学習/活性化関数/なぜ深層とすることが重要なのか
- 4章 勾配降下法による学習
- 勾配降下法/改良された勾配降下法/重みパラメータの初期値の取り方/訓練サンプルの前処理/
- 5章 深層学習の正則化
- 汎化性能と正則化/重み減衰/早期終了/重み共有/データ拡張とノイズの付加/バギング/ドロップアウト/深層表現のスパース化/バッチ正規化
- 6章 誤差逆伝播法
- パーセプトロンの学習則とデルタ則/誤差逆伝播法/誤差逆伝播法はなぜ早いのか/勾配消失問題,パラメータ爆発とその対応策
- 7章 自己符号化器
- データ圧縮と主成分分析/自己符号化器/スパース自己符号化器/積層自己符号化器と事前学習/デノイジング自己符号化器/収縮自己符号化器
- 8章 畳み込みニューラルネット
- 一次視覚野と畳み込み/畳み込みニューラルネット/CNN の誤差逆伝播法/学習済みモデルと転移学習/CNN はどのようなパターンを捉えているのか/脱畳み込みネットワーク/インセプションモジュール
- 9章 再帰型ニューラルネット
- 時系列データ/再帰型ニューラルネット/機械翻訳への応用/RNN の問題点/長・短期記憶/再帰型ニューラルネットと自然言語処理
- 10章 ボルツマンマシン
- グラフィカルモデルと確率推論/ボルツマンマシン/ボルツマンマシンの学習と計算量爆発/ギブスサンプリングとボルツマンマシン/平均場近似/制限付きボルツマンマシン/コントラスティブダイバージェンス法とその理論/ディープビリーフネットワーク/ディープボルツマンマシン
- 11章 深層強化学習
- 強化学習/関数近似と深層 Q ネット/アタリゲームと DQN/方策学習/アルファ碁
- 付録 確率の基礎/変分法
となっており、深層強化学習まで入っています。
前提知識は線形代数と微分積分のみってことでほんとかよとは思いますが。データサイエンス、データ分析、機械学習に必要な数学 で線形代数、微分積分、そして機械学習に必要な最適化の数学の参考書の紹介をしています。