情報幾何学とAI
AIはデータを「空間上の点」として扱う。 分類や生成、検索、推論、どのタスクも、結局は「どんな空間にデータを配置するか」という設計問題に帰着する。
本講義はその問いを「幾何学」という言語で読み解く全15回の講義である。 個々の手法（How）ではなく、なぜその設計が有効なのか（Why）を問うことで、手法が変わっても使い続けられる視座を身につける。
TIP
続編に「情報幾何学とAIの動態論」を予定しています。
目次
イントロ
| リンク | 説明 |
|---|---|
| はじめに | 講義をはじめるにあたってのひとこと |
| キーワード集 | 各回のキーワードを整理したもの |
| 理解度チェック | 各回の理解度チェックへのリンクをまとめたもの |
| 参考文献 |
第0部：準備と地図
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 0 | 幾何学という言語: この講義の羅針盤 | 多様体・測地線・曲率などの最小限の道具を導入する。全体像の地図と視点を揃える。 | (リーマン)多様体, 測地線, 曲率 | 〇 |
第1部：平坦な世界の限界と「コペルニクス的転回」
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 1 | かつての地図: 平らな世界で戦っていた私たち | 古典的手法が前提としていたユークリッド空間観を振り返る。見落とされた構造の兆しを掘り起こす。 | ユークリッド空間, PCA, Isomap, LLE, SVM, LDA, PMI, TF-IDF, 分布仮説 | 〇 |
| 2 | ノルムの呪い: 意味と不確実性の未分化 | ノルムが担っていた複数の意味が混線していた背景を整理する。高次元の直交性が持つ効用にも触れる。 | ノルムの三重の意味, ハブ化, 距離の集中 | 〇 |
| 3 | プラネタリウムの建設: 球面へのパラダイムシフト | 角度中心の設計へ移る必然を説明する。球面上の分布や正規化の実装的注意点も扱う。 | nGPT, 球面制約, vMF分布, 測地線距離 | 〇 |
第2部：空間の見方を広げる
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 4 | 分類を確率で読む: Softmaxと情報幾何学 | Softmaxを確率多様体の写像として読み直す。自然勾配や温度の意味づけを整理する。 | 確率単体, 自然勾配, フィッシャー情報行列, CRF | 〇 |
| 5 | 分類を境界で読む: SVMと角度マージン | 角度マージンの直感をSVM的視点と接続する。ArcFaceの設計意図と数値安定性を確認する。 | 最大マージン原理, 角度マージン, ArcFace | 〇 |
| 6 | Transformerという測量士: 動的な接続 | Attentionを動的な空間変形として捉え直す。正規化条件の有無で解釈が変わる点を強調する。 | Scaled Dot-Product, Cosine Attention, RoPE | 〇 |
| 7 | 点から分布へ: 不確実性を表現する幾何学 | 点表現から分布表現への移行を議論する。不確実性を持つ表現が何を可能にするかを示す。 | vMF分布, 集中度, OOD検知, VAE, 無知の捏造によるハルシネーション | 〇 |
第3部：時間とダイナミクス
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 8 | 時間の発見: 一撃からの脱却 | 生成をプロセスとして捉える必然を解説する。時間軸が表現に与える構造的効果を見る。 | 残差接続 (ResNet), Neural ODE, ベクトル場 | 〇 |
| 9 | 拡散と凝縮: 熱力学との融合 | 拡散モデルとSDE/ODEの対応を整理する。ノイズから意味が立ち上がる過程を描く。 | スコア関数, ランジュバン動力学, Flow Matching | 〇 |
| 10 | 思考の連鎖: 推論の軌跡 | 推論過程を幾何学的な軌跡として扱う。Chain of Thoughtの利点と限界も確認する。 | Chain of Thought, 推論の結び目 | 〇 |
第4部：マルチモーダルと拡張幾何学
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 11 | 異なる空間をつなぐ: マルチモーダル表現の幾何学 | 異なるモダリティの空間をどう接続するかを考える。統合のための幾何学的条件を整理する。 | マルチモーダル整列, CLIP, FEDA, 概念の直交性 | 〇 |
| 12 | 双曲幾何学: 負の曲率の世界 | 階層構造に適した空間の選び方を学ぶ。球面では表現しづらい構造を示す。 | 負の曲率, ポアンカレ円板, 階層的埋め込み | 〇 |
第5部：未来と哲学
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| 13 | 高次元の深淵: 幾何学的な恐怖と祝福 | 高次元の集中現象とスパース性を両面から扱う。MoEの設計思想への接続も行う。 | 次元の呪い, 距離の集中, 内在次元 | 〇 |
| 14 | トポロジーという顕微鏡: 穴とループの発見 | 形ではなく構造を測る視点を導入する。TDAが表現学習に与える示唆を整理する。 | 持続的ホモロジー, パーシステンス図, TDA | 〇 |
| 15 | 次の空間を設計する: 幾何学的帰納バイアスと未解決問題 | これまでの視点を統合し、未来の設計課題を提示する。ワークショップの意図と問いをまとめる。 | 多様体の純度, 幾何学的帰納バイアス | 〇 |
Appendix
| 回 | リンク | 概要 | キーワード | 理解度チェック |
|---|---|---|---|---|
| A1 | 量子化の幾何学: 重みの離散化が多様体に何をするのか | 量子化の幾何学的解釈を補足する。講義本編の議論を補完する目的で、背景と直感をまとめる。 | 量子化, PTQ, QAT | 〇 |
| A2 | 多様体の純度問題: 幾何学がまだ解けていない課題 | 幾何学が解けない「真偽」の限界と、続編「動態論」への接続。 | 純度, EL2Nスコア, Influence Functions, 誤信念の表出によるハルシネーション | 〇 |
| A3 | 動的剪定の幾何学: 柔軟な回路がもたらす知能 | 「動的剪定」で繋ぐAttentionとMoE | 動的剪定, ルーティング, MoE | 〇 |
| A4 | 空間の「物差し」再考: 2点間から情報の密度まで | 距離、非対称性、密度で測る「情報の地形」 | 内積, KLダイバージェンス, フィッシャー情報行列 | 〇 |
| A5 | 情報幾何学における双対構造: 2種類のまっすぐ | 確率の世界は平らではなく「歪んでいる」ため、普通の定規では測れない。 | 〇 | |
| A6 | 特異点の幾何学: AIはなぜ汎化するのか | 学習の停滞、相転移、そして汎化の根本原理を理解するのに必要な幾何の紹介。 | 特異モデル, 正則モデル, 特異学習理論 (SLT), 特異点, 相転移, 特異点解消 | 〇 |
制作
以下に主担当を示す。
WARNING
誤りを含めないように努めましたが、鵜呑みにせず慎重に検討しながらお読みください。
誤植などありましたら、GitHub Issuesヘご連絡ください。