| 第1章 学習と確率 |
| 1.1 学習とは 1 |
| 1.2 確率変数と情報科学 3 |
| 1.2.1 離散値をとる確率変数 3 |
| 1.2.2 連続値をとる確率変数 5 |
| 1.2.3 確率変数の変換 8 |
| 1.2.4 平均と分散 10 |
| 1.3 確率と推論 13 |
| 1.3.1 同時確率密度関数と関係 13 |
| 1.3.2 推論と条件つき確率 14 |
| 1.3.3 回帰関数 17 |
| 1.3.4 独立性 18 |
| 1.4 確率変数の距離 20 |
| 第2章 学習と統計的推測 |
| 2.1 データと学習 23 |
| 2.1.1 学習とは 23 |
| 2.1.2 同時確率密度関数の学習 24 |
| 2.1.3 学習法の意味 27 |
| 2.1.4 学習の尺度 28 |
| 2.1.5 条件つき確率密度関数の推定法 29 |
| 2.1.6 回帰関数の推定 32 |
| 2.1.7 パターン識別関数の推定 33 |
| 2.1.8 関数近似誤差と統計誤差 36 |
| 2.2 最適化法 36 |
| 2.2.1 最急降下法 36 |
| 2.2.2 確率項をもつ最急降下法 42 |
| 第3章 複雑な学習モデル |
| 3.1 関数近似モデル 47 |
| 3.1.1 関数近似モデルの定義 47 |
| 3.1.2 関数近似モデルの学習 49 |
| 3.1.3 3層パーセプトロン 50 |
| 3.1.4 球形基底関数,RBF 66 |
| 3.2 競合学習 69 |
| 3.2.1 確率競合モデル 69 |
| 3.2.2 混合正規モデルの推論 71 |
| 3.2.3 混合分布の最急降下法 72 |
| 3.2.4 確率競合モデルとEMアルゴリズム 74 |
| 3.2.5 EMアルゴリズム 74 |
| 3.2.6 ノンパラメトリック学習 78 |
| 3.2.7 自己組織化写像 81 |
| 3.3 ボルツマンマシン 84 |
| 3.3.1 ボルツマンマシンの定義 84 |
| 3.3.2 ボルツマンマシンの推論 86 |
| 3.3.3 平衡状態の実現 87 |
| 3.3.4 ボルツマンマシンの学習 89 |
| 3.3.5 平均場近似 91 |
| 3.3.6 確定的ボルツマンマシン 93 |
| 3.4 サポートベクトルマシン 94 |
| 3.4.1 サポートベクトルマシンの定義 94 |
| 3.4.2 マージン最大化 96 |
| 3.4.3 高次元埋込みと核関数 99 |
| 第4章 学習の基礎理論 |
| 4.1 隠れ層とパラメータの特定可能性 101 |
| 4.2 統計的正則モデル 104 |
| 4.2.1 最尤法の学習誤差と予測誤差 104 |
| 4.2.2 最尤法におけるモデル選択 108 |
| 4.2.3 ベイズ法の汎化誤差と確率的複雑さ 110 |
| 4.2.4 ベイズ法におけるモデル選択 113 |
| 4.3 特異計量をもつモデルの学習理論 116 |
| 4.3.1 超完全基底と特定不能性 116 |
| 4.3.2 学習モデルのゼータ関数 118 |
| 4.3.3 特異点解消定理と学習曲線 125 |
| 4.3.4 最尤法と経験確率過程 134 |
| 4.4 統計物理学の方法 139 |
| 4.4.1 レブリカ法 140 |
| 4.4.2 熱力学的極限 145 |
| 4.5 学習理論の関連する分野 150 |
| 4.5.1 データサイエンスとの関係 151 |
| 4.5.2 計算論的知能との関係 153 |
| 第5章 確率・統計の基礎知識 |
| 5.1 確率論における概念と方法 155 |
| 5.1.1 不等式 155 |
| 5.1.2 特性関数 156 |
| 5.1.3 確率変数の収束 158 |
| 5.1.4 大数の法則と中心極限定理 159 |
| 5.1.5 ウィッシャート分布 163 |
| 5.1.6 順序統計量 164 |
| 5.1.7 経験確率過程 165 |
| 5.2 学習と関数空間論 169 |
| 5.2.1 関数空間,距離,稠密性 169 |
| 5.2.2 稠密性と多項式 170 |
| 5.2.3 3層パーセプトロンによる関数近似 173 |
| 5.2.4 次元の呪いと適応基底 174 |
| 参考文献 177 |
| 索引 185 |
