| 第1章 導入 1 |
| 1.1 多変量データと線形表現 1 |
| 1.1.1 一般的な統計学的設定 1 |
| 1.1.2 次元を縮小する方法 2 |
| 1.1.3 独立性の原則 3 |
| 1.2 暗中信号源分離 4 |
| 1.2.1 未知の信号の混合の観測 4 |
| 1.2.2 独立性をもとにした信号源分離 6 |
| 1.3 独立成分分析 7 |
| 1.3.1 定義 7 |
| 1.3.2 応用 8 |
| 1.3.3 独立成分の求め方 9 |
| 1.4 ICAの歴史 13 |
| 第1部 数学的準備 |
| 第2章 確率変数と独立性 16 |
| 2.1 確率分布と密度 16 |
| 2.1.1 確率変数の密度関数 16 |
| 2.1.2 確率ベクトルの分布 18 |
| 2.1.3 結合分布と周辺分布 19 |
| 2.2 期待値とモーメント 20 |
| 2.2.1 一般的な性質と定義 20 |
| 2.2.2 平均ベクトルと相関行列 22 |
| 2.2.3 共分散と結合モーメント 23 |
| 2.2.4 期待値の推定 25 |
| 2.3 無相関性と独立性 26 |
| 2.3.1 無相関性と白色性 26 |
| 2.3.2 統計的独立性 29 |
| 2.4 条件つき密度とベイズの法則 31 |
| 2.5 多変量ガウス分布 34 |
| 2.5.1 ガウス密度の性質 35 |
| 2.5.2 中心極限定理 37 |
| 2.6 変換の分布 38 |
| 2.7 高次の統計量 39 |
| 2.7.1 尖度と密度関数の分類 40 |
| 2.7.2 キュムラント,モーメントとそれらの性質 44 |
| 2.8 確率過程* 47 |
| 2.8.1 導入と定義 47 |
| 2.8.2 定常性,平均と自己相関関数 48 |
| 2.8.3 広義定常過程 50 |
| 2.8.4 時間平均とエルゴード性 52 |
| 2.8.5 パワースペクトル 53 |
| 2.8.6 確率信号モデル 54 |
| 2.9 結語と参考文献 55 |
| 演習間題56 |
| 第3章 勾配を用いた最適化法 62 |
| 3.1 ベクトル型と行列型の勾配 62 |
| 3.1.1 ベクトル型勾配 62 |
| 3.1.2 行列型勾配 64 |
| 3.1.3 勾配の例 64 |
| 3.1.4 多変数関数のテイラー級数展開 67 |
| 3.2 制約条件なし最適化のための学習則 68 |
| 3.2.1 勾配降下法 68 |
| 3.2.2 2次学習法 71 |
| 3.2.3 自然勾配と租対的勾配 72 |
| 3.2.4 確率的勾配降下 75 |
| 3.2.5 確率的オンライン学習則の収束* 77 |
| 3.3 制約条件つき最適化の学習則 79 |
| 3.3.1 ラグランジュの未定乗数法 80 |
| 3.3.2 射影法 80 |
| 3.4 結語と参考文献 82 |
| 演習問題 82 |
| 第4章 推定理論 85 |
| 4.1 基本的な概念 85 |
| 4.2 推定の性質 88 |
| 4.3 モーメント法 92 |
| 4.4 最小2乗推定 95 |
| 4.4.1 線形最小2乗法 95 |
| 4.4.2 非線形最小2乗推定と一般化最小2乗推定* 98 |
| 4.5 最尤推定 99 |
| 4.6 ベイズ推定法* 103 |
| 4.6.1 確率的なパラメータのための最小平均2乗誤差推定量 104 |
| 4.6.2 ウィーナフィルタ法 106 |
| 4.6.3 最大事後確率推定量 107 |
| 4.7 結語と参考文献 109 |
| 演習問題 111 |
| 第5章 情報理論 116 |
| 5.1 エントロピー 116 |
| 5.1.1 エントロピーの定義 116 |
| 5.1.2 エントロピーと符号長 118 |
| 5.1.3 微分エントロピー 119 |
| 5.1.4 変換のエントロピー 120 |
| 5.2 相互情報量 121 |
| 5.2.1 エントロピーを使った定義 121 |
| 5.2.2 カルバック＝ライブラーのダイバージェンスを使った定義 122 |
| 5.3 最大エントロピー 123 |
| 5.3.1 エントロピー最大の分布 123 |
| 5.3.2 ガウス分布の最犬エントロピーの性質 124 |
| 5.4 ネゲントロピー 125 |
| 5.5 キュムラントによるエントロピーの近似 126 |
| 5.5.1 密度関数の多項式展開 126 |
| 5.5.2 密度の展開によるエントロピーの近似 127 |
| 5.6 非多項式によるエントロピーの近似 128 |
| 5.6.1 最大エントロピーの近似 129 |
| 5.6.2 非多項式関数の選択 130 |
| 5.6.3 簡単な例 131 |
| 5.6.4 近似の比較 132 |
| 5.7 結語と参考文献 134 |
| 演習問題 135 |
| 付録―証明 136 |
| 第6章 主成分分析と白色化 139 |
| 6.1 主成分 139 |
| 6.1.1 分散の最大化によるPCA 141 |
| 6.1.2 最小平均2乗誤差からの導出 142 |
| 6.1.3 主成分の数の決定 144 |
| 6.1.4 PCAの閉じた解法 146 |
| 6.2 オンライン学習によるPCA 147 |
| 6.2.1 確率的最急勾配法 148 |
| 6.2.2 部分空間学習アルゴリズム 149 |
| 6.2.3 再帰的最小2乗法:PASTアルゴリズム* 150 |
| 6.2.4 PCAと多層パーセプトロンの逆伝搬学習則* 152 |
| 6.2.5 PCAの非2次の規準への拡張* 153 |
| 6、3 因子分析 153 |
| 6.4 白色化 155 |
| 6.5 直交化 157 |
| 6.6 結語と参考文献 159 |
| 演習問題 160 |
| 第Ⅱ部 基本的な独立成分分析 |
| 第7章 独立成分分析とは何か 164 |
| 7.1 動機 164 |
| 7.2 独立成分分析の定義 169 |
| 7.2.1 生成モデルの推定としてのICA 169 |
| 7.2.2 ICAにおける制約 170 |
| 7.2.3 ICAの曖昧性 172 |
| 7.2.4 変数の中心化 172 |
| 7.3 ICAの図解 173 |
| 7.4 白色化より強力なICA 176 |
| 7.4.1 無相関化と白色化 176 |
| 7.4.2 白色化はICAの半分だけである 178 |
| 7.5 ガウス的変数には使えない理由 180 |
| 7.6 結語と参考文献 181 |
| 演習問題 182 |
| 第8章 非ガウス性の最大化によるICA 184 |
| 8.1 「非ガウス性は独立性」184 |
| 8.2 尖度によって非ガウス性を測る 190 |
| 8.2.1 尖度の極値は独立成分を与える 190 |
| 8.2.2 尖度を用いた勾配法 196 |
| 8.2.3 尖度を用いた高速不動点アルゴリズム 197 |
| 8.2.4 fastICAの動作例 198 |
| 8.3 ネゲントロピーによって非ガウス性を測る 201 |
| 8.3.1 尖度に対する批判 201 |
| 8.3.2 非ガウス性の尺度としてのネゲントロピー 202 |
| 8.3.3 ネゲントロピーの近似 203 |
| 8.3.4 ネゲントロピーを用いた勾配法 205 |
| 8.3.5 ネゲントロピーを用いた高速不動点アルゴリズム 208 |
| 8.4 複数の独立成分の推定 214 |
| 8.4.1 無相関性の制約 214 |
| 8.4.2 逐次的直交化 215 |
| 8.4.3 対称的直交化 215 |
| 8.5 ICAと射影追跡 218 |
| 8.5.1 興味ある方向の探索 218 |
| 8.5.2 非ガウス性に興味がある 219 |
| 8.6 結語と参考文献 220 |
| 演習問題 220 |
| 付録―証明 223 |
| 第9章 最尤推定によるICA 226 |
| 9.1 ICAモデルにおける尤度 226 |
| 9.1.1 尤度の導出 226 |
| 9.1.2 密度の推定 227 |
| 9.2 最尤推定のアルゴリズム 230 |
| 9.2.1 勾配アルゴリズム 231 |
| 9.2.2 高速の不動点アルゴリズム 233 |
| 9.3 インフォマックスの原理 236 |
| 9.4 最尤推定の適用例 237 |
| 9.5 結語と参考文献 240 |
| 演習問題 241 |
| 付録―証明 243 |
| 第10章 相互情報量最小化によるICA 244 |
| 10.1 相互情報量によるICAの定義 244 |
| 10.1.1 情報理論的な概念 244 |
| 10.1.2 従属性の尺度としての相互情報量 245 |
| 10.2 相互情報量と非ガウス性 245 |
| 10.3 相互情報量と尤度 247 |
| 10.4 相互情報量の最小化のアルゴリズム 247 |
| 10.5 相互情報量最小化の適用例 248 |
| 10.6 結語と参考文献 249 |
| 演習問題 250 |
| 第11章テンソルを用いたICA 251 |
| 11.1 キュムラントテンソルの定義 251 |
| 11.2 テンソルの固有値から独立成分を得る 252 |
| 11.3 べき乗法によるテンソル分解 254 |
| 11.4 固有行列の近似的同時対角化 256 |
| 11.5 荷重相関行列法 257 |
| 11.5.1 FOBIアルゴリズム 258 |
| 11.5.2 FOBIからJADEへ 258 |
| 11.6 結語と参考文献 259 |
| 演習問題 260 |
| 第12章 非線形無相関化によるICAと非線形PCA 261 |
| 12.1非線形相関と独立性 262 |
| 12.2 エロー＝ジュタンのアルゴリズム 264 |
| 12.3 チコツキ＝ウンベハウエンのアルゴリズム 266 |
| 12.4 推定関数法* 267 |
| 12.5 独立性による等分散適応的分離 269 |
| 12.6 非線形主成分分析 272 |
| 12.7 非線形PCA規準とICA 275 |
| 12.8 非線形PCA規準の学習則 277 |
| 12.8.1非線形部分空間則 278 |
| 12.8.2非線形部分空間則の収束* 279 |
| 12.8.3非線形再帰的最小2乗学習則 283 |
| 12.9 結語と参考文献 286 |
| 演習問題 286 |
| 第13章 実際上の諸問題 288 |
| 13.1 時間フィルタによる前処理 288 |
| 13.1.1 なぜ時間フィルタが許容されるか 288 |
| 13.1.2 低域通過フィルタ 289 |
| 13.1.3 高域通過フィルタとイノベーション 290 |
| 13.1.4 最適フィルタ 292 |
| 13.2 PCAによる前処理 292 |
| 13.2.1 混合行列を正方行列にする 293 |
| 13.2.2 雑音の低減と過学習の防止 293 |
| 13.3 推定すべき成分の数は? 296 |
| 13.4 アルゴリズムの選択 297 |
| 13.5 結語と参考文献 298 |
| 演習問題 298 |
| 第14章 基本的なICAの諸方法の概観と比較 299 |
| 14.1 「目的関数」対「アルゴリズム」299 |
| 14.2 ICA推定原理の間の関係 300 |
| 14.2.1 推定原理の間の類似性 300 |
| 14.2.2 推定原理の間の相違点 301 |
| 14.3 統計的に最適な非線形関数 302 |
| 14.3.1 漸近的分散の比較* 303 |
| 14.3.2 頑健性の比較* 304 |
| 14.3.3 非線形関数の現実的な選び方 306 |
| 14.4 実験によるICAアルゴリズムの比較 307 |
| 14.4.1 実験方法とアルゴリズム 308 |
| 14.4.2 シミュレーションデータに対する結果 309 |
| 14.4,3 現実のデータを用いた比較 313 |
| 14.5 参考文献 313 |
| 14.6 基本ICAの要約 314 |
| 付録―証明 316 |
| 第Ⅲ部 ICAの拡張および関連する手法 |
| 第15章雑音のあるICA 318 |
| 15.1 定義 318 |
| 15.2 センサ雑音と信号源雑音 319 |
| 15,3 雑音源の数が少ない場合 320 |
| 15.4 混合行列の推定 321 |
| 15.4.1 偏差の除去 321 |
| 15.4.2 高次のキュムラント法 324 |
| 15.4.3 最尤法 324 |
| 15.5 独立成分からの雑音の除去 325 |
| 15.5.1 最大事後確率推定 325 |
| 15.5.2 縮小推定の特別な場合 326 |
| 15.6 スパース符号の縮小による雑音除去 329 |
| 15.7 結語 330 |
| 第16章 過完備基底のICA 331 |
| 16.1 独立成分の推定 332 |
| 16.1.1 最尤推定 332 |
| 16.1.2 優ガウス的成分の場合 333 |
| 16.2 混合行列の推定 334 |
| 162.1 結合尤度の最大化 334 |
| 16.22 尤度の近似値の最大化 334 |
| 16.2.3 準直交性を用いた近似推定 335 |
| 16.2.4 他の考え方 339 |
| 16.3 結語 340 |
| 第17章 非線形ICA 341 |
| 17.1 非線形1CAとBSS 341 |
| 17.1.1 非線形ICAとBSS問題 341 |
| 17.1.2 非線形ICAの存在と一意性 343 |
| 17.2 非線形活性化関数型混合の分離 345 |
| 17.3 自己組織写像を用いた非線形BSS 347 |
| 17.4 生成的トポグラフィック写像による非線形BSS解法* 350 |
| 17.4.1 背景 350 |
| 17.4.2 修正GTM法 351 |
| 17.4.3 実験 354 |
| 17.5 アンサンブル学習による非線形BSSの解法 356 |
| 17.5.1 アンサンブル学習 357 |
| 17.5.2 モデルの構造 358 |
| 17.5.3 カルバック＝ライブラーの損失関数の計算* 359 |
| 17.5.4 学習法* 360 |
| 17.5.5 実験結果 362 |
| 17.6 他の方法 366 |
| 17.7 結語 368 |
| 第18章 時間的構造を利用する方法 370 |
| 18.1 自己共分散による分離 371 |
| 18.1.1 非ガウス性の代わりとしての自己共分散 371 |
| 18.1.2 1個の時間差を使う 372 |
| 18.1.3 複数の時間差を用いる 373 |
| 18.2 分散の非定常性による分離 376 |
| 18.2.1 局所的自己相関の使用 377 |
| 18.2.2 クロスキュムラントを用いる方法 378 |
| 18.3 統一的な分離の原理 381 |
| 18.3.1 分離の原理の比較 381 |
| 18.3.2 統一的な枠組みとしてのコルモゴロフの複雑度 382 |
| 18.4 結語 384 |
| 第19章 畳み込み混合と暗中逆畳み込み 385 |
| 19.1 暗中逆畳み込み 386 |
| 19.1.1 問題の定義 386 |
| 19.1.2 ブスガング法 387 |
| 19.1.3 キュムラントに基づく方法 389 |
| 19.1.4 線形ICAを用いた暗中逆畳み込み 390 |
| 19.2畳み込み混合の暗中分離 391 |
| 19.2.1 畳み込み混合のBSS問題 391 |
| 19.2.2 通常のICAへの書き換え 394 |
| 19.2.3 自然勾配法 395 |
| 19.2.4 フーリエ変換法 396 |
| 19.2.5 時空間無相関化の方法 398 |
| 19.2.6 畳み込み混合のための他の方法 399 |
| 19.3 結語 399 |
| 付録―離散時間フィルタとz変換 401 |
| 第20章 その他の拡張の例 404 |
| 20.1 混合行列に関する事前情報 404 |
| 20.1.1 なぜ事前情報か 404 |
| 20.1.2 古典的な事前分布 405 |
| 20.1.3 スパースな事前分布 407 |
| 20.1.4 時空間ICA 411 |
| 20.2 独立性の仮定の緩和 412 |
| 20.2.1 多次元ICA 413 |
| 20.2.2 独立部分空間分析 414 |
| 20.2.3 トポグラフィックICA 416 |
| 20.3 複素数値データ 418 |
| 20.3.1 複素数値確率変数の基礎概念 418 |
| 20.3.2 独立成分の不定性 419 |
| 20.3.3 非ガウス性の尺度の選択 420 |
| 20.3.4 推定量の一致性 421 |
| 20.3.5 不動点アルゴリズム 422 |
| 20.3.6 独立部分空間との関連 422 |
| 20.4 結語 423 |
| 第Ⅳ部ICAの応用 |
| 第21章ICAによる特徴抽出 426 |
| 21.1 線形表現 426 |
| 21.1.1 定義 426 |
| 21.1.2 ガボール解析 427 |
| 21.1.3 ウェーブレット 429 |
| 21.2 ICAとスパース符号化 431 |
| 21.3 画像からICAの基底を推定する 433 |
| 21.4 スパース符号縮小による画像の雑音除去 434 |
| 21.4.1 成分の統計量 434 |
| 21.4.2 窓に関する注意 436 |
| 21.4.3 雑音除去の結果 437 |
| 21.5 独立部分空間とトポグラフィックICA 438 |
| 21.6 神経生理学との関連 440 |
| 21.7 結語 441 |
| 第22章 脳機能の可視化への応用 442 |
| 22.1 脳波と脳磁図 442 |
| 22.1.1 脳の可視化の技術の種類 442 |
| 22.1.2 脳内の電気活動の測定 443 |
| 22.1.3 基本ICAモデルの正当性 444 |
| 22.2 脳波と脳磁図中のアーチファクトの特定 445 |
| 22.3 誘発脳磁界の解析 448 |
| 22.4 他の測定法へのICAの応用 451 |
| 22.5 結語 451 |
| 第23章 通信技術への応用 452 |
| 23.1 多ユーザ検出とCDMA通信 452 |
| 23.2 CDMA信号のモデルとICA 457 |
| 23.3 伝送路のフェージングの推定 460 |
| 23.3.1 複雑度の最小化 460 |
| 23.3.2 伝送路推定* 461 |
| 23.3.3 比較と考察 463 |
| 23.4 畳み込みCDMA混合の暗中分離* 466 |
| 23.4.1 フィードバック構造 466 |
| 23.4.2 半暗中分離法 468 |
| 23.4.3 シミュレーションと考察 469 |
| 23.5 複素数値ICAを用いた多ユーザ検出の改善* 471 |
| 23.5.1 データモデル 471 |
| 23.5.2 ICAに基づく受信機 472 |
| 23.5.3 シミュレーション結果 475 |
| 23.6 結語と参考文献 476 |
| 第24章その他の応用 478 |
| 24.1 金融への応用 478 |
| 24.1.1 金融データ中の隠れた要因を探す 478 |
| 24.1.2 ICAによる時系列予測 481 |
| 24.2 音声信号の分離 483 |
| 24.3他の応用例 485 |
| 参考文献 487 |
| 欧文索引 524 |
| 和文索引 527 |
図書
ＥＢ
図書