第1章 例からの学習 |
1.1 学習システムとは 1 |
1.2 学習システムの現状 3 |
1.3 学習理論の枠組み 6 |
1.4 新しい学習システムと学習理論 9 |
1.4.1 構造をもつ学習モデル 9 |
1.4.2 超高次元空間 10 |
1.4.3 確率変数の関係 11 |
1.4.4 学習例の最適化 12 |
1.4.5 学習と統計力学 13 |
1.4.6 学習と現代数学 14 |
1.5 学習の未来形 16 |
1.5.1 学習システムの未来へ 16 |
1.5.2 学習理論の未来へ 17 |
参考文献 19 |
第2章 多層パーセプトロン |
2.1 はじめに 20 |
2.2 多層パーセプトロンの関数近似能力 21 |
2.2.1 多層パーセプトロン 21 |
2.2.2 連続関数の一様近似 22 |
2.2.3 次元の呪いの回避 23 |
2.2.4 べき多項式の近似 24 |
2.3 多層パーセプトロンの学習 25 |
2.31 学習 25 |
2.3.2 学習の加速化 26 |
2.3.3 最急降下法の停滞 28 |
2.3.4 多層パーセプトロンの応用 29 |
2.4 多層パーセプトロンの汎化性 30 |
2.4.1 汎化誤差 30 |
2.4.2 BiasとVariance 31 |
2.4.3 統計的モデル選択 33 |
2.4.4 Early stopping と正則化 34 |
2.4.5 特異モデルとしての多層パーセプトロン 36 |
2.5 おわりに 38 |
参考文献 38 |
第3章 カーネルマシン |
3.1 識別問題と線形識別器 46 |
3.2 カーネルトリック 47 |
3.3 サポートベクタマシン(SVM) 49 |
3.4 正則化とソフトマージン 52 |
3.4.1 正則化 53 |
3.4.2 ソフトマージン 54 |
3.5 SVMの汎化能力 55 |
3.5.1 PAC学習の枠組み 56 |
3.5.2 SVMの汎化誤差 58 |
3.5.3 SVMのパラメータの決定法 58 |
3.6 カーネルマシンの一般性 59 |
3.6.1 再生核ヒルペルト空間 59 |
3.6.2 レプリゼンタ定理 60 |
3.7 いろいろなカーネル 61 |
3.7.1 カーネルの変換と組み合わせ 62 |
3.7.2 文字列に対するカーネル |
3.7.3 グラフのノードに対するカーネル 64 |
3.7.4 分布に対するカーネル 65 |
3.7.5 カーネルの修復 66 |
3.8 いろいろなカーネルマシン 66 |
3.8.1 SVMの拡張 66 |
3.8.2 カーネル密度推定,動径基底関数 70 |
3.8.3 正規過程 70 |
3.8.4 その他のカーネルマシン 71 |
3.9 おわりに 72 |
参考文献 73 |
第4章 ベイジアンネットワーク |
4.1 はじめに 75 |
4.2 ベイジアンネットワーク 76 |
4.3 ベイジアンネットワークの確率推論 80 |
4.3.1 確率推論アルゴリズム 81 |
4.4 ベイジアンネットワークの統計的学習 86 |
4.4.1 条件つき確率の学習 86 |
4.4.2 グラフ構造の学習 87 |
4.5 ベイジアンネットワークの応用 88 |
4.5.1 障害診断への応用 88 |
4.5.2 ユーザーモデリングヘの応用 89 |
4.5.3 ベイジアンネットワークソフトウェア 91 |
4.6 おわりに 95 |
参考文献 95 |
第5章 能動学習の理論 |
5.1 能動的な学習とは何か 98 |
5.2 確率的なデータからの入出力関係の学習 99 |
5.2.1 確率的な動作をするシステム 100 |
5.2.2 入出力関係の学習 101 |
5.2.3 学習機械の汎化能力 104 |
5.3 能動学習の方法一汎化誤差を最小にするデータ採取点 105 |
5.3.1 漸近理論による汎化誤差の期待値の推定 105 |
5.3.2 汎化誤差を小さくする能動学習 -線形の場合- 108 |
5.3.3 汎化誤差を小さくする能動学習 -一般の場合- 110 |
5.3.4 確率的な能動学習 112 |
5.3.5 その他の規準による最適データ採取点探索 114 |
5.4 能動学習とモデル選択 117 |
5.4.1 不適合なモデルのもとでの能動学習の悪影響 118 |
5.4.2 モデル選択を組み合わせた能動学習 119 |
5.5 ニューラルネットの能動学習 121 |
5.6 能動学習の応用例 124 |
5.7 おわりに 126 |
付録1 Caxatheodory の定理 128 |
付録2 行列式に関する関係式 129 |
参考文献 129 |
第6章 アンサンブル学習の統計力学 |
6.1 はじめに 132 |
6.2 パーセプトロンのオンライン学習の理論 135 |
6.2.1 パーセプトロン 135 |
6.2.2 教師-生徒の定式化 137 |
6.2.3 オーバーラップと汎化誤差 139 |
6.2.4 学習アルゴリズム 142 |
6.2.5 オーダーパラメータのダイナミクス 144 |
6.3 アンサンブル学習のオンライン学習の理論 148 |
6.3.1 アンサンブル学習 148 |
6.3.2 学習アルゴリズム 150 |
6.3.3 汎化誤差 151 |
6.3.4 オーダーパラメータのダイナミクス 152 |
6.4 線形パーセプトロンのアンサンブル学習 153 |
6.4.1 汎化誤差とオーダーパラメータダイナミクス 153 |
6.4.2 生徒の結合荷重が統計的に一様である場合 154 |
6.4.3 生徒の結合荷重が統計的に一様でない場合 155 |
6.5 非線形パーセプトロンのアンサンブル学習 157 |
6.6 まとめ 158 |
参考文献 159 |
第7章 特異点解消と学習システムヘの応用 |
7.1 定義および特異点解消定理 162 |
7.2 プローアップ 165 |
7.3 ニュートン図形を用いた特異点解消 172 |
7.4 ベイズ学習理論および特異点解消定理の応用 185 |
参考文献 191 |
索 引 193 |