情報幾何学とAI
全ページ目次

Appearance

ページ一覧

全ページ目次 ​

ガイド

第0部 準備と地図

第1部 平坦な世界の限界

第1回: かつての地図: 平らな世界で戦っていた私たち

注意事項
導入：平らな世界の住人たち
PCAとSVD：影絵の時代
高次元の「見える化」という切実な課題
PCAの幾何学的解釈
線形とは何か
「影絵」という比喩
PCAの暗黙の前提
歴史的文脈
Isomap と LLE：大域的距離と局所的関係の保存
2000年、Science 誌に発表された二つの手法
Isomap と LLE によるスイスロールの展開
SVM vs ロジスティック回帰：幾何か統計か
二つの哲学
SVMの幾何学：マージン最大化
「サポートベクター」の幾何学的意味
カーネルトリック：暗黙の高次元空間
ロジスティック回帰：確率の世界
当時は「水と油」に見えた
Bag-of-Words：単語の袋という割り切り
言語を数にする
頻度の重み付け：TF-IDF と PMI
高次元の疎な空間という限界
pLSA/LDA：離散的な星空
トピックモデルの発想
LDAの生成モデル
「離散的な星空」という比喩
先進性と限界
歴史的意義：批判ではなく考古学
まとめ：平らな世界の限界
三つの暗黙の仮定
ユークリッド空間の「呪縛」
「見落とし」の具体例
次回予告
実装ノート：古典手法の幾何学的可視化
PCAによる次元削減と情報損失の可視化
SVMの決定境界とマージンの可視化
Bag-of-Words の限界：順序の喪失
参考文献
主成分分析（PCA）
非線形次元削減（多様体学習）
サポートベクターマシン（SVM）
損失関数に見る共通構造
トピックモデル
単語重み付けと共起統計
単語埋め込み（後続手法への橋渡し）
→ 理解度チェック

第2部 空間の見方を広げる

第7回: 点から分布へ: 不確実性を表現する幾何学

注意事項
導入：解像度を上げる
ノルムの分離という思想
従来：混沌としたノルム
これから：意味と確信度の分離
VAEとガウス空間の重力
潜在空間を「押し込める」力
ユークリッド空間の不均一性
球面への脱出：vMFという一般化
von Mises-Fisher分布：球面上のガウス分布
vMF分布とは何か
$\kappa$ の直感的理解
正規化定数の複雑さ
不確実性の定量化
エントロピーとしての不確実性
近似式の条件
確信度としての $\kappa$
Out-of-Distribution（OOD）検知
問題：ドーム上の「盲点」
分布表現による解決策
ハルシネーションの幾何学
ハルシネーションとは何か
幾何学的な対策
整列（Alignment）からの解放
従来の問題：座標系の不一致
$\kappa$ による座標フリーの比較
分布埋め込みの学習
アーキテクチャの選択肢
学習の課題
Visualization Break：Attentionの幾何学を見る
デモ：確信度を持つAttention
発展的トピック: Zipf則の幾何学的正体 ～なぜ「頻出語」は広がるのか～
まとめ：点から分布へ
本回のポイント
視点の階層：「点」という言葉の多義性
次回予告
実装ノート：分布埋め込みを動かす
vMF分布のパラメータ化
vMF分布からのサンプリング
vMF間のKLダイバージェンス
確信度に基づくOOD検知
座標フリーの分布比較
参考文献
分布埋め込みとvMF分布
不確実性の定量化
OOD検知
ハルシネーションと信頼性
球面上のサンプリング
→ 理解度チェック

第3部 時間とダイナミクス

第9回: 拡散と凝縮: 熱力学との融合

注意事項
導入：霧から星が凝縮する
標準的な拡散モデル： $\mathbb{R}^d$ 上の定式化
Forward Process：データからノイズへ
解の閉形式：任意時刻への直接ジャンプ
最終状態：ガウス分布への収束
Reverse Process：ノイズからデータへ
スコア関数：確率の流れの方向
スコア関数の幾何学的意味
スコアマッチング：スコアの学習
確率フローODE：決定論的な生成
SDEからODEへ
確率フローODEの利点
ベクトル場としての解釈
Langevin動力学：スコアによるサンプリング
スコアベースのサンプリング
拡散モデルとの関係
エネルギーベースモデルの復活
EBMとは
スコアマッチングによる突破
幾何学的視点の価値
スコアは「確率の流れの方向」
word2vecの再評価：ベクトル演算の復権（解釈の一案）
確率分布の時間発展
Flow Matching：共通の定式化
Flow Matchingとは
拡散モデルとの関係
まとめ：熱力学と学習の対応
本回のポイント
発展的トピック: 学習の熱力学：不可逆輸送と認識論的コスト
学習とは「パラメータ分布の輸送」である
認識論的コスト (Epistemic Costs)
発展的トピック: 球面上の拡散モデル
標準手法との違い
球面拡散の動機
次回予告
実装ノート：スコア関数を実装する
標準的な実装
DDPMの学習ループ
DDIMサンプラー
スコアマッチングの可視化
球面拡散の概念実装
参考文献
拡散モデルの基礎
スコアベース生成モデル
高速サンプリング
Flow Matching
スコアマッチング
エネルギーベースモデル
Langevin動力学
学習の熱力学
→ 理解度チェック

第4部 マルチモーダルと拡張幾何学

第11回: 異なる空間をつなぐ: マルチモーダル表現の幾何学

注意事項
導入：異なる感覚器官を持つ知性
異種多様体：それぞれの「住む世界」
モダリティごとの構造的特性
多様体としての解釈
CLIPの革命：共有空間への整列
対照学習の基本アイデア
損失関数の幾何学
球面上の「引力」と「斥力」
温度パラメータの役割
共有空間の問題：「無理やり同じドームに押し込む」歪み
モダリティ固有の構造が取り出しにくくなる可能性
モダリティギャップ
ゼロショット転移の限界
歴史からの教訓：空間を「広げて」解決する
Frustratingly Easy Domain Adaptation (FEDA)
幾何学的な本質：次元の直交化
「情報の棲み分け」という思想
現代への遺産
CLIPとの対比：「共有」か「分離」か
次世代への示唆：翻訳か共有か
アプローチ1：モダリティ間の構造を保つ写像
アプローチ2：階層的な統合
アプローチ3：動的な統合
具体例：ImageBindとその先
ImageBind：6モダリティの統合
共有空間の質を問う
まとめ：異種空間の架け橋
本回のポイント
問い
次回予告
実装ノート：対照学習の基本
コサイン類似度と対照損失
モダリティギャップの可視化
FEDA（空間の拡張）の実装
簡易的なマルチモーダルエンコーダ
参考文献
CLIPと対照学習
ドメイン適応と空間の拡張
モダリティギャップ
CLIPの限界と構成性
ImageBindと多モダリティ統合
マルチモーダル学習のサーベイ
→ 理解度チェック

第5部 未来と哲学

第13回: 高次元の深淵: 幾何学的な恐怖と祝福

注意事項
導入：高次元という「異世界」
高次元の二つの顔：[第2回](02.md)からの復習と深化
「ほぼ直交」という奇妙な世界
「ほぼ等距離」という落とし穴
赤道集中現象：高次元球面の奇妙な地理
「ほぼすべての点が赤道付近」
直感的理解
kNNの幾何学：高次元での破綻と復活
k近傍法の基本
高次元でのkNNの困難
角度による改善：[第3回](03.md)との接続
近似最近傍探索（ANN）とスパース性の活用
RAGとの接続：埋め込み空間での近傍検索
敵対的サンプルの幾何学：高次元の「抜け道」
微小ノイズで誤分類が起きる
幾何学的解釈（比喩）
スパース性の幾何学：Mixture of Expertsの世界
MoEの基本構造
ルーティングの幾何学：kNNとの類似性
各Expertは「部分空間」を担当する（仮説）
MoEの課題と幾何学的理解
MoEとMulti-head Attentionの対比
最新動向（2024-2025年）
アライメント問題の幾何学的定式化（比喩）
未解決問題
まとめ：高次元の恐怖と祝福
次回予告
実装ノート：次元の呪いを体験する
敵対的サンプルの生成（FGSM）
MoEモデルの利用例（Hugging Face transformers）
Expert活性化パターンの可視化
コサイン類似度ベースのkNN
参考文献
次元の呪い・高次元空間の挙動
近傍探索・ベクトル検索
RAGとMoE
非ユークリッド幾何学とLLM
敵対的事例
→ 理解度チェック

Appendix

Appendix 3: 動的剪定の幾何学: 柔軟な回路がもたらす知能

本Appendixの位置づけ
注意事項
導入：静的な地図から動的な回路へ
古典的手法の「固定性」
Transformer以降の「動的性」
Attention：空間内のミクロな動的枝刈り
全結合からの選択的遮断
幾何学的解釈：内積による「視界の制限」
情報的剪定としてのAttention：計算は省かない
MoEへの接続
Mixture of Experts (MoE)：マクロな部分空間スイッチング
MoEの基本構造（復習）
「全知識の動員」vs「必要な近傍の活性化」
ルーティングとしての動的剪定
部分空間スイッチングとしてのMoE（仮説的解釈）
より現実的なMoE解釈
MoEの課題：ルーティング崩壊（Routing Collapse）
スパース性（疎性）の幾何学：条件依存の有効性
高次元空間の「空虚さ」
スパース化の有効性：条件依存
SNR観点の例示モデル（概念的理解のための簡略化）
Dense表現が有利な場合
効率化技術の体系化（GQA, LoRA, MoD）
GQA (Grouped-Query Attention)：視点の冗長性削減
LoRA (Low-Rank Adaptation)：更新ランクの削減
MoD (Mixture of Depths)：深さ方向の剪定
共通の観点で整理する
FlashAttention：メモリI/O最適化としての設計
GPUメモリ階層という制約
FlashAttentionの仕組み：I/O削減と再計算戦略
「パッキング」比喩の限界と正確な理解
まとめ：選択的処理と効率化の分類
重要な注意点
次のステップ
実装ノート：動的剪定を実装する
Attentionの計算パターン比較
MoEの簡略実装
GQA (Grouped-Query Attention) の実装
参考文献
Transformer と Attention
Pruning（剪定）
Mixture of Experts (MoE)
効率化手法
→ 理解度チェック

Appendix 4: 空間の「物差し」再考: 2点間から情報の密度まで

本Appendixの位置づけ
注意事項
導入：「物差し」が世界を定義する
幾何学とは「測る」こと
「点」の正体：スカラではなく分布の代表
AIにとっての多層的な定規
対称的な尺度（距離）：配置と構造の固定
内積：方向と大きさを測る基本道具
コサイン類似度：方向だけを見る
Attentionとの関係
双曲距離：階層構造の深さを測る
非対称な尺度（ダイバージェンス）：学習の駆動力
距離では学習の方向が見えない
KLダイバージェンス：分布の非対称な隔たり
非対称性の幾何学的意味
非対称性が学習を駆動する
計量としてのフィッシャー情報：空間の感度を測る
「局所と大局」の比喩とその限界
フィッシャー情報行列：分布の感度を測る
直感的理解：ジャングルと砂漠のメタファー
数値例：正規分布の場合
自然勾配法：曲がった空間での最適化
自然勾配の幾何学的意味：「霧」をどう動かすか
実装上の課題
AttentionとMoEとの比喩的対応
まとめ：距離と計量の共通構造
情報の3層構造：「雨粒」から「感度」へ
[第7回](07.md)との統合：「点」の二重性
ゴール
リーマンの先へ：フィンスラー計量とシンプレクティック形式
次のステップ：動態論へ
実装ノート：距離、ダイバージェンス、計量を実装する
KLダイバージェンスの非対称性の可視化
フィッシャー情報行列の数値計算（正規分布）
自然勾配と通常勾配の比較（玩具問題）
参考文献
情報幾何学（基礎）
自然勾配法
KLダイバージェンスと損失関数
双曲幾何学（階層構造）
Attention と内積
フィンスラー幾何学とシンプレクティック幾何学
MoE（Mixture of Experts）
→ 理解度チェック