| 第1章 例からの学習 |
| 1.1 学習システムとは 1 |
| 1.2 学習システムの現状 3 |
| 1.3 学習理論の枠組み 6 |
| 1.4 新しい学習システムと学習理論 9 |
| 1.4.1 構造をもつ学習モデル 9 |
| 1.4.2 超高次元空間 10 |
| 1.4.3 確率変数の関係 11 |
| 1.4.4 学習例の最適化 12 |
| 1.4.5 学習と統計力学 13 |
| 1.4.6 学習と現代数学 14 |
| 1.5 学習の未来形 16 |
| 1.5.1 学習システムの未来へ 16 |
| 1.5.2 学習理論の未来へ 17 |
| 参考文献 19 |
| 第2章 多層パーセプトロン |
| 2.1 はじめに 20 |
| 2.2 多層パーセプトロンの関数近似能力 21 |
| 2.2.1 多層パーセプトロン 21 |
| 2.2.2 連続関数の一様近似 22 |
| 2.2.3 次元の呪いの回避 23 |
| 2.2.4 べき多項式の近似 24 |
| 2.3 多層パーセプトロンの学習 25 |
| 2.31 学習 25 |
| 2.3.2 学習の加速化 26 |
| 2.3.3 最急降下法の停滞 28 |
| 2.3.4 多層パーセプトロンの応用 29 |
| 2.4 多層パーセプトロンの汎化性 30 |
| 2.4.1 汎化誤差 30 |
| 2.4.2 BiasとVariance 31 |
| 2.4.3 統計的モデル選択 33 |
| 2.4.4 Early stopping と正則化 34 |
| 2.4.5 特異モデルとしての多層パーセプトロン 36 |
| 2.5 おわりに 38 |
| 参考文献 38 |
| 第3章 カーネルマシン |
| 3.1 識別問題と線形識別器 46 |
| 3.2 カーネルトリック 47 |
| 3.3 サポートベクタマシン(SVM) 49 |
| 3.4 正則化とソフトマージン 52 |
| 3.4.1 正則化 53 |
| 3.4.2 ソフトマージン 54 |
| 3.5 SVMの汎化能力 55 |
| 3.5.1 PAC学習の枠組み 56 |
| 3.5.2 SVMの汎化誤差 58 |
| 3.5.3 SVMのパラメータの決定法 58 |
| 3.6 カーネルマシンの一般性 59 |
| 3.6.1 再生核ヒルペルト空間 59 |
| 3.6.2 レプリゼンタ定理 60 |
| 3.7 いろいろなカーネル 61 |
| 3.7.1 カーネルの変換と組み合わせ 62 |
| 3.7.2 文字列に対するカーネル |
| 3.7.3 グラフのノードに対するカーネル 64 |
| 3.7.4 分布に対するカーネル 65 |
| 3.7.5 カーネルの修復 66 |
| 3.8 いろいろなカーネルマシン 66 |
| 3.8.1 SVMの拡張 66 |
| 3.8.2 カーネル密度推定,動径基底関数 70 |
| 3.8.3 正規過程 70 |
| 3.8.4 その他のカーネルマシン 71 |
| 3.9 おわりに 72 |
| 参考文献 73 |
| 第4章 ベイジアンネットワーク |
| 4.1 はじめに 75 |
| 4.2 ベイジアンネットワーク 76 |
| 4.3 ベイジアンネットワークの確率推論 80 |
| 4.3.1 確率推論アルゴリズム 81 |
| 4.4 ベイジアンネットワークの統計的学習 86 |
| 4.4.1 条件つき確率の学習 86 |
| 4.4.2 グラフ構造の学習 87 |
| 4.5 ベイジアンネットワークの応用 88 |
| 4.5.1 障害診断への応用 88 |
| 4.5.2 ユーザーモデリングヘの応用 89 |
| 4.5.3 ベイジアンネットワークソフトウェア 91 |
| 4.6 おわりに 95 |
| 参考文献 95 |
| 第5章 能動学習の理論 |
| 5.1 能動的な学習とは何か 98 |
| 5.2 確率的なデータからの入出力関係の学習 99 |
| 5.2.1 確率的な動作をするシステム 100 |
| 5.2.2 入出力関係の学習 101 |
| 5.2.3 学習機械の汎化能力 104 |
| 5.3 能動学習の方法一汎化誤差を最小にするデータ採取点 105 |
| 5.3.1 漸近理論による汎化誤差の期待値の推定 105 |
| 5.3.2 汎化誤差を小さくする能動学習 -線形の場合- 108 |
| 5.3.3 汎化誤差を小さくする能動学習 -一般の場合- 110 |
| 5.3.4 確率的な能動学習 112 |
| 5.3.5 その他の規準による最適データ採取点探索 114 |
| 5.4 能動学習とモデル選択 117 |
| 5.4.1 不適合なモデルのもとでの能動学習の悪影響 118 |
| 5.4.2 モデル選択を組み合わせた能動学習 119 |
| 5.5 ニューラルネットの能動学習 121 |
| 5.6 能動学習の応用例 124 |
| 5.7 おわりに 126 |
| 付録1 Caxatheodory の定理 128 |
| 付録2 行列式に関する関係式 129 |
| 参考文献 129 |
| 第6章 アンサンブル学習の統計力学 |
| 6.1 はじめに 132 |
| 6.2 パーセプトロンのオンライン学習の理論 135 |
| 6.2.1 パーセプトロン 135 |
| 6.2.2 教師-生徒の定式化 137 |
| 6.2.3 オーバーラップと汎化誤差 139 |
| 6.2.4 学習アルゴリズム 142 |
| 6.2.5 オーダーパラメータのダイナミクス 144 |
| 6.3 アンサンブル学習のオンライン学習の理論 148 |
| 6.3.1 アンサンブル学習 148 |
| 6.3.2 学習アルゴリズム 150 |
| 6.3.3 汎化誤差 151 |
| 6.3.4 オーダーパラメータのダイナミクス 152 |
| 6.4 線形パーセプトロンのアンサンブル学習 153 |
| 6.4.1 汎化誤差とオーダーパラメータダイナミクス 153 |
| 6.4.2 生徒の結合荷重が統計的に一様である場合 154 |
| 6.4.3 生徒の結合荷重が統計的に一様でない場合 155 |
| 6.5 非線形パーセプトロンのアンサンブル学習 157 |
| 6.6 まとめ 158 |
| 参考文献 159 |
| 第7章 特異点解消と学習システムヘの応用 |
| 7.1 定義および特異点解消定理 162 |
| 7.2 プローアップ 165 |
| 7.3 ニュートン図形を用いた特異点解消 172 |
| 7.4 ベイズ学習理論および特異点解消定理の応用 185 |
| 参考文献 191 |
| 索 引 193 |
図書
図書
