| 第1章 判別能力の評価 1 |
| 1.1 はじめに 1 |
| 1.2 誤り率 1 |
| 1.3 損失行列による評価 2 |
| 1.4 交差検証法による予測精度の推定 2 |
| 1.5 陽性率，偽陽性率，ROC 曲線，AUC 6 |
| 1.6 適合率，再現率，F値 12 |
| 1.7 おわりに 14 |
| 第2章 k-平均法 15 |
| 2.1 はじめに 15 |
| 2.2 k-平均法 16 |
| 2.3 次元削減による視覚化 19 |
| 2.4 クラスタ数の推定ギャップ統計量 23 |
| 2.5 おわりに 26 |
| 第3章 階層的クラスタリング 28 |
| 3.1 はじめに 28 |
| 3.2 対象間の距離 28 |
| 3.3 クラスタ間の距離 29 |
| 3.4 階層的クラスタリング 31 |
| 3.5 おわりに 35 |
| 第4章 混合正規分布モデル 36 |
| 4.1 はじめに 36 |
| 4.2 混合正規分布とその推定 37 |
| 4.3 混合数の推定 44 |
| 4.4 おわりに 48 |
| 第5章 判別分析 49 |
| 5.1 はじめに 49 |
| 5.2 フィッシャーの判別分析 49 |
| 5.3 線形判別と2次判別 53 |
| 5.4 正則化判別分析 55 |
| 5.5 おわりに 58 |
| 第6章 ロジスティック回帰 59 |
| 6.1 はじめに 59 |
| 6.2 ロジスティック判別 59 |
| 6.3 2値の場合 60 |
| 6.4 プロビットモデル 64 |
| 6.5 多値の場合 65 |
| 6.6 線形判別分析とロジスティック判別の関係 67 |
| 6.7 非線形ロジスティック回帰 69 |
| 6.8 ニューラルネットワーク 71 |
| 6.9 おわりに 74 |
| 第7章 密度推定 75 |
| 7.1 はじめに 75 |
| 7.2 ヒストグラム 75 |
| 7.3 カーネル密度推定 80 |
| 7.4 最近傍法による密度推定 83 |
| 7.5 おわりに 85 |
| 第8章 k-近傍法 86 |
| 8.1 はじめに 86 |
| 8.2 Rによるk-近傍法の実装 87 |
| 8.3 k-近傍法の予測誤差 90 |
| 8.4 適応的k-近傍法 93 |
| 8.5 おわりに 98 |
| 第9章 学習ベクトル量子化 100 |
| 9.1 はじめに 100 |
| 9.2 LVQ1アルゴリズム 101 |
| 9.3 LVQ2.1アルゴリズム 101 |
| 9.4 LVQ3アルゴリズム 102 |
| 9.5 OLVQ1アルゴリズム 102 |
| 9.6 Rによる学習ベクトル量子化 103 |
| 9.7 おわりに 106 |
| 第10章 決定木 107 |
| 10.1 はじめに 107 |
| 10.2 木の構築 108 |
| 10.3 木の剪定 109 |
| 10.4 損失行列と事前確率 113 |
| 10.5 決定木の不安定性 117 |
| 10.6 おわりに 118 |
| 第11章 サポートベクターマシン 119 |
| 11.1 はじめに 119 |
| 11.2 マージン最大化による推定 119 |
| 11.3 カーネル関数を用いた定式化 122 |
| 11.4 ソフトマージンを使った推定 123 |
| 11.5 Rにおけるサポートベクターマシンの実装 125 |
| 11.6 多値サポートベクターマシン 127 |
| 11.7 1クラスサポートベクターマシン 129 |
| 11.8 おわりに 132 |
| 第12章 正則化とパス追跡アルゴリズム 133 |
| 12.1 はじめに 133 |
| 12.2 サポートベクターマシンのパラメータ推定 134 |
| 12.3 サポートベクターマシンのパス追跡アルゴリズム 136 |
| 12.4 パス追跡アルゴリズムの実装 136 |
| 12.5 おわりに 140 |
| 第13章 ミニマックス確率マシン 141 |
| 13.1 はじめに 141 |
| 13.2 誤り率のミニマックス基準 141 |
| 13.3 ミニマックス確率マシンの定式化 143 |
| 13.4 学習アルゴリズム 144 |
| 13.5 フィッシャーの線形判別との関係 147 |
| 13.6 カーネル関数を用いたモデリング 148 |
| 13.7 おわりに 153 |
| 第14章 集団学習 154 |
| 14.1 はじめに 154 |
| 14.2 ブートストラップ法 154 |
| 14.3 バギング 155 |
| 14.4 ブースティング 158 |
| 14.5 アダブースト 159 |
| 14.6 U-ブースト 165 |
| 14.7 多値判別のためのアダブースト 170 |
| 14.8 Rによるアダブースト.M2の実装 172 |
| 14.9 おわりに 179 |
| 第15章 2 値判別から多値判別へ 180 |
| 15.1 はじめに 180 |
| 15.2 符号表の構成と2 判別器の訓練 180 |
| 15.3 Rによるハミング復号法の実装 187 |
| 15.4 Rによるロス関数に基づく復号法の実装 188 |
| 15.5 Rによる確率モデルに基づく復号法の実装 191 |
| 15.6 Rによるペアワイズカップリング法とその拡張の実装 202 |
| 15.7 おわりに 206 |
| 付録A Rの使い方 207 |
| A.1 はじめに 207 |
| A.2 基本的な使い方 207 |
| A.2.1 起動と終了 207 |
| A.2.2 コメントと文の区切り 208 |
| A.2.3 ヘルプ機能 209 |
| A.2.4 パッケージ 210 |
| A.2.5 作業ディレクトリ 213 |
| A.3 式の計算 213 |
| A.3.1 数の扱い 213 |
| A.3.2 演算 214 |
| A.3.3 特殊な数 215 |
| A.3.4 乱数 216 |
| A.4 データ構造と型 217 |
| A.4.1 スカラー 217 |
| A.4.2 ベクトル 219 |
| A.4.3 行列 221 |
| A.4.4 リスト 223 |
| A.4.5 データフレーム 225 |
| A.4.6 型を調べる 227 |
| A.4.7 データ構造を調べる 228 |
| A.5 グラフィックス 231 |
| A.5.1 描画のための関数 231 |
| A.5.2 複数の図の表示 238 |
| A.5.3 ファイルへの保存 239 |
| A.6 関数の定義 240 |
| A.7 ファイルの読み書き 241 |
| A.7.1 プログラムの読み込み 241 |
| A.7.2 データファイルの書き出し 242 |
| A.7.3 データファイルの読み込み 242 |
| A.8 制御構造 243 |
| A.8.1 if文 243 |
| A.8.2 for文 243 |
| A.8.3 while文 244 |
| A.8.4 repeat文 244 |
| A.9 おわりに 245 |
| 付録B プログラムの実装例 246 |
| B.1 はじめに 246 |
| B.2 EMアルゴリズムによる混合正規分布の推定 246 |
| B.3 アダブーストによる判別器の学習 255 |
| B.4 おわりに 264 |
| 参考文献 265 |
| 索引 268 |
図書
図書
図書
