| 第1章 はじめに:脳を見る座標軸 1 |
| 1.1 脳を理解する,とは 1 |
| 1.2 空間のスケール 3 |
| 1.2.1 行動とモジュールのレベル 3 |
| 1.2.2 局所回路のレベル 3 |
| 1.2.3 ニューロンのレベル 4 |
| 1.2.4 シナプスのレベル 4 |
| 1.2.5 分子のレベル 4 |
| 1.3 進化と発達のスケール 5 |
| 1.3.1 無脊椎動物の神経系 5 |
| 1.3.2 脊椎動物の神経系 5 |
| 1.3.3 小脳 6 |
| 1.3.4 大脳基底核 7 |
| 1.3.5 海馬 7 |
| 1.3.6 大脳新皮質 7 |
| 1.4 学習の枠組み 8 |
| 1.4.1 教師あり学習 8 |
| 1.4.2 強化学習 9 |
| 1.4.3 教師なし学習 9 |
| 1.4.4 学習の枠組みと脳の回路 9 |
| 1.5 計算神経科学への招待 9 |
| 第2章 ニューロンのモデル 11 |
| 2.1 ニューロンの構造 11 |
| 2.2 McCulloch-Pittsモデル 12 |
| 2.3 発火頻度モデル 13 |
| 2.3.1 コネクショニストモデル 14 |
| 2.3.2 リカレントネットワークモデル 14 |
| 2.4 スパイクタイミングモデル 15 |
| 2.5 積分発火モデル 16 |
| 2.6 Hodgkin-Huxley型モデル 16 |
| 2.7 FitzHugh-Nagumoモデル 18 |
| 2.8 コンパートメントモデル 19 |
| 2.9 ニューロインフォマテイクスヘの期待 20 |
| 第3章 ニューロンのデータ解析 22 |
| 3.1 ニューロンの活動記録 22 |
| 3.2 感覚刺激からスパイクへ 23 |
| 3.3 スパイクから感覚刺激へ 25 |
| 3.4 スパイクからスパイクへ 26 |
| 3.5 スパイクから運動出力へ 27 |
| 3.6 試行平均を超えて 28 |
| 第4章 教師あり学習 30 |
| 4.1 教師あり学習 30 |
| 4.1.1 単純パーセプトロン 30 |
| 4.12 多層パーセプトロン 31 |
| 4.2 最小二乗誤差学習 31 |
| 4.3 汎化誤差と過学習 33 |
| 4.3.1 最尤推定と最小二乗誤差 34 |
| 4.3.2 パラメタの事前確率と事後確率 35 |
| 4.3.3 ベイズ推定と周辺尤度 36 |
| 4.4 脳の教師あり学習 37 |
| 第5章 小脳と内部モデル 38 |
| 5.1 脳の教師はどこに? 38 |
| 5.2 小脳の構造と神経回路 39 |
| 5.3 小脳パーセプトロン仮説とシナプス長期減弱 40 |
| 5.4 フィードバック誤差学習による逆モデル制御 40 |
| 5.5 順モデルによる予測制御 42 |
| 5.6 内部モデルによる認知機構 43 |
| 5.6.1 脳内シミュレーションと思考 43 |
| 5.6.2 計算結果のモジュール化 44 |
| 5.7 内部モデル学習に必要な回路機構 44 |
| 5.7.1 平行線維入力の基底関数表現 44 |
| 5.7.2 登上線維の誤差表現 45 |
| 5.7.3 シナプス可塑性の時間窓 46 |
| 5.8 内部モデルの可能性 46 |
| 第6章 強化学習 49 |
| 6.1 強化学習とは 49 |
| 6.2 即時報酬課題 49 |
| 6.3 遅延報酬課題 51 |
| 6.4 履歴を使った学習 51 |
| 6.5 状態価値関数とBellman方程式 52 |
| 6.6 行動価値関数による学習 53 |
| 6.7 Actor-CriticとPolicy Gradient 54 |
| 6.8 強化学習から脳へ 55 |
| 第7章 大脳基底核と報酬予測 57 |
| 7.1 強化学習の脳機構 57 |
| 7.2 大脳基底核の回路 57 |
| 7.3 大脳基底核のニューロン特性 58 |
| 7.3.1 中脳ドーパミンニューロンとTD誤差 59 |
| 7.3.2 線条体ニューロン活動の報酬依存性 60 |
| 7.3.3 大脳皮質一線条体シナプスのドーパミン依存の可塑性 60 |
| 7.4 大脳基底核の強化学習モデル 61 |
| 7.5 線条体ニューロンの行動価値表現 62 |
| 7.6 大脳基底核とそれ以外 63 |
| 第8章 教師なし学習 65 |
| 8.1 教師なし学習とは 65 |
| 8.2 情報の最大化と冗長性の削減 65 |
| 8.2.1 主成分分析 66 |
| 8.2.2 独立成分分析 67 |
| 8.2.3 スパース表現 68 |
| 8.3 学習量子化 69 |
| 8.3.1 K-means 69 |
| 8.3.2 混合正規分布モデル 70 |
| 8.3.3 自己組織化マップ 71 |
| 8.4 教師なし学習と脳 71 |
| 第9章 大脳皮質 73 |
| 9.1 大脳皮質の計算とは 73 |
| 9.2 大脳皮質の回路構造 73 |
| 9.3 大脳皮質ニューロンの特徴選択性 74 |
| 9.4 教師なし学習モデル 74 |
| 9.4.1 自己組織化モデル 74 |
| 9.4.2 情報量最大化 75 |
| 9.4.3 報酬による重み付け 75 |
| 9.5 ボピュレーション表現とベイズ推定 76 |
| 9.5.1 分布推定モデル 77 |
| 9.5.2 Belief propagationモデル 77 |
| 9.6 教師なし学習のその先 78 |
| 第10章 メタ学習 80 |
| 10.1 学習のしかたの学習 80 |
| 10.2 教師あり学習のメタ学習 80 |
| 10.2.1 学習速度係数α 80 |
| 10.2.2 周辺尤度によるモデル選択 81 |
| 10.3 強化学習のメタ学習 82 |
| 10.3.1 行動選択の逆温度β 82 |
| 10.3.2 報酬予測の割引率γ 83 |
| 10.4 教師なし学習のメタ学習 84 |
| 10.5 異なるモジュールの並列学習 84 |
| 10.6 メタ学習から脳へ 85 |
| 第11章 神経修飾物質系 86 |
| 11.1 メタ学習の脳機構は? 86 |
| 11.2 神経修飾物質系 86 |
| 11.3 ドーパミン系:報酬予測の増減δ 87 |
| 11.4 アセチルコリン系:学習速度係数α 88 |
| 11.5 ノルアドレナリン系:動作選択の逆温度β 88 |
| 11.6 セロトニン系:報酬評価の時間割引率γ 89 |
| 11.7 脳のメタ学習機構と神経修飾物質系の相互作用モデル 90 |
| 第12章 階層モジュール学習 92 |
| 12.1 起き上がりロボットの学習 92 |
| 12.2 階層モジュール学習方式 94 |
| 12.2.1 階層混合エキスパート 94 |
| 12.2.2 MOSAICアーキテクチャ 95 |
| 12.2.3 階層強化学習 95 |
| 12.2.4 Importance samplingによる並列学習 95 |
| 12.3 脳の階層モジュール学習 96 |
| 12.3.1 モジュールの選択 96 |
| 12.3.2 モデルベースとモデルフリーのアーキテクチャ 96 |
| 12.4 脳のグローバルな組織化原理は? 97 |
| 第13章 協調行動とコミュニケーション 99 |
| 13.1 脳と社会環境 99 |
| 13.2 協調行動の計算理論 99 |
| 13.3 行動理解と見まね学習 100 |
| 13.4 コミュニケーションと言語 102 |
| 13.5 言語の起源に向けて 104 |
| 第14章 計算神経科学の到達点と今後 106 |
| 14.1 脳はどこまでわかったか 106 |
| 14.2 ニューロン,分子,遺伝子 106 |
| 14.3 局所回路と情報表現 109 |
| 14.4 脳の大域回路と行動 109 |
| 14.5 社会脳から言語へ 110 |
| 14.6 おわりに 110 |
| 索引 112 |
