TIP
続編に「情報幾何学とAIの動態論」を予定しています。
情報幾何学とAIの統一視点
深層学習の歴史で紐解く、超球面上の「プラネタリウム」構築論
概要
深層学習を幾何で統べる全15回講義。
従来のユークリッド空間から、nGPTや双曲多様体が示す「曲がった空間」へのパラダイムシフト。
MoEやTDA等の最新知見を交え、手法の陳腐化に抗う普遍的な「空間の形」を探る。
平坦な地図を捨て、AIの星空を読み解く旅へ。
目次
イントロ
| リンク | 説明 |
|---|---|
| 重要な前提と制約 | 比喩と厳密性の関係や条件付き主張の扱いを整理する。概念と実装のギャップを最初に共有する。 |
| キーワード集 | 各回のキーワードを整理したもの |
| 参考文献 |
第0部：準備と地図
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 0 | 幾何学という言語 ～この講義の羅針盤～ | 多様体・測地線・曲率などの最小限の道具を導入する。全体像の地図と視点を揃える。 | (リーマン)多様体, 測地線, 曲率 |
第1部：平坦な世界の限界と「コペルニクス的転回」
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 1 | かつての地図 ～平らな世界で戦っていた私たち～ | 古典的手法が前提としていたユークリッド空間観を振り返る。見落とされた構造の兆しを掘り起こす。 | ユークリッド空間, PCA, Isomap, LLE, SVM, LDA, PMI, TF-IDF, 分布仮説 |
| 2 | ノルムの呪い ～意味と不確実性の未分化～ | ノルムが担っていた複数の意味が混線していた背景を整理する。高次元の直交性が持つ効用にも触れる。 | ノルムの三重の意味, ハブ化, 距離の集中 |
| 3 | プラネタリウムの建設 ～極座標へのパラダイムシフト～ | 角度中心の設計へ移る必然を説明する。球面上の分布や正規化の実装的注意点も扱う。 | nGPT, 球面制約, vMF分布, 測地線距離 |
第2部：統一的視点への接続
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 4 | 分類の再統一 I ～Softmaxと情報幾何学～ | Softmaxを確率多様体の写像として読み直す。自然勾配や温度の意味づけを整理する。 | 確率単体, 自然勾配, フィッシャー情報行列, CRF |
| 5 | 分類の再統一 II ～マージンの幾何学～ | 角度マージンの直感をSVM的視点と接続する。ArcFaceの設計意図と数値安定性を確認する。 | 最大マージン原理, 角度マージン, ArcFace |
| 6 | Transformerという測量士 ～動的な接続～ | Attentionを動的な空間変形として捉え直す。正規化条件の有無で解釈が変わる点を強調する。 | Scaled Dot-Product, Cosine Attention, RoPE |
| 7 | 不確実性の復権 ～Variance Matters～ | 点表現から分布表現への移行を議論する。不確実性を持つ表現が何を可能にするかを示す。 | vMF分布, 集中度, OOD検知, VAE, 無知の捏造によるハルシネーション |
第3部：時間とダイナミクス
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 8 | 時間の発見 ～一撃からの脱却～ | 生成をプロセスとして捉える必然を解説する。時間軸が表現に与える構造的効果を見る。 | 残差接続 (ResNet), Neural ODE, ベクトル場 |
| 9 | 拡散と凝縮 ～熱力学との融合～ | 拡散モデルとSDE/ODEの対応を整理する。ノイズから意味が立ち上がる過程を描く。 | スコア関数, ランジュバン動力学, Flow Matching |
| 10 | 思考の連鎖 ～推論の軌跡～ | 推論過程を幾何学的な軌跡として扱う。Chain of Thoughtの利点と限界も確認する。 | Chain of Thought, 推論の結び目 |
第4部：マルチモーダルと拡張幾何学
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 11 | 感覚の統合 ～異種多様体の結婚～ | 異なるモダリティの空間をどう接続するかを考える。統合のための幾何学的条件を整理する。 | マルチモーダル整列, CLIP, FEDA, 概念の直交性 |
| 12 | 双曲幾何学 ～負の曲率の世界～ | 階層構造に適した空間の選び方を学ぶ。球面では表現しづらい構造を示す。 | 負の曲率, ポアンカレ円板, 階層的埋め込み |
第5部：未来と哲学
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| 13 | 高次元の深淵 ～幾何学的な恐怖と祝福～ | 高次元の集中現象とスパース性を両面から扱う。MoEの設計思想への接続も行う。 | 次元の呪い, 距離の集中, 内在次元 |
| 14 | トポロジーという顕微鏡 ～穴とループの発見～ | 形ではなく構造を測る視点を導入する。TDAが表現学習に与える示唆を整理する。 | 持続的ホモロジー, パーシステンス図, TDA |
| 15 | 次の時代を設計する | これまでの視点を統合し、未来の設計課題を提示する。ワークショップの意図と問いをまとめる。 | 多様体の純度, 幾何学的帰納バイアス |
Appendix
| 回 | リンク | 概要 | キーワード |
|---|---|---|---|
| A1 | 量子化の幾何学 | 量子化の幾何学的解釈を補足する。講義本編の議論を補完する目的で、背景と直感をまとめる。 | 量子化, PTQ, QAT |
| A2 | 多様体の純度問題: 幾何学がまだ解けていない課題 | 幾何学が解けない「真偽」の限界と、続編「動態論」への接続。 | 純度, EL2Nスコア, Influence Functions, 誤信念の表出によるハルシネーション |
| A3 | 動的剪定の幾何学: 柔軟な回路がもたらす知能 | 「動的剪定」で繋ぐAttentionとMoE | 動的剪定, ルーティング, MoE |
| A4 | 空間の「物差し」再考: 2点間から情報の密度まで | 距離、非対称性、密度で測る「情報の地形」 | 内積, KLダイバージェンス, フィッシャー情報行列 |
| A5 | 情報幾何学における双対構造：2種類のまっすぐ | 確率の世界は平らではなく「歪んでいる」ため、普通の定規では測れない。 | |
| A6 | 特異点の幾何学: AIはなぜ汎化するのか | 学習の停滞、相転移、そして汎化の根本原理を理解するのに必要な幾何の紹介。 | 特異モデル, 正則モデル, 特異学習理論 (SLT), 特異点, 相転移, 特異点解消 |
制作
以下に主担当を示す。
WARNING
誤りを含めないように努めましたが、鵜呑みにせず慎重に検討しながらお読みください。