情報幾何学とAIの統一視点
全ページ目次

Appearance

ページ一覧

全ページ目次 ​

第1回：かつての地図 ～平らな世界で戦っていた私たち～

注意事項
導入：平らな世界の住人たち
PCAとSVD：影絵の時代
高次元の「見える化」という切実な課題
PCAの幾何学的解釈
「影絵」という比喩
PCAの暗黙の前提
歴史的文脈
Isomap と LLE：曲がった空間への最初の一歩
2000年、Science に載った二つの革命
Isomap と LLE によるスイスロールの展開
SVM vs ロジスティック回帰：幾何か統計か
二つの哲学
SVMの幾何学：マージン最大化
「サポートベクター」の幾何学的意味
カーネルトリック：暗黙の高次元空間
ロジスティック回帰：確率の世界
当時は「水と油」に見えた
Bag-of-Words：単語の袋という割り切り
言語を数にする
頻度の重み付け：TF-IDF と PMI
高次元の疎な空間という限界
pLSA/LDA：離散的な星空
トピックモデルの発想
LDAの生成モデル
「離散的な星空」という比喩
先進性と限界
「平らな世界」の限界：まとめ
三つの暗黙の仮定
ユークリッド空間の「呪縛」
「見落とし」の具体例
歴史的意義：批判ではなく考古学
次回予告
実装ノート：古典手法の幾何学的可視化
PCAによる次元削減と情報損失の可視化
SVMの決定境界とマージンの可視化
Bag-of-Words の限界：順序の喪失
参考文献
主成分分析（PCA）
非線形次元削減（多様体学習）
サポートベクターマシン（SVM）
トピックモデル
単語重み付けと共起統計
単語埋め込み（後続手法への橋渡し）

第7回：不確実性の復権 ～Variance Matters～

注意事項
導入：解像度を上げる
ノルムの分離という思想
従来：混沌としたノルム
これから：意味と確信度の分離
VAEとガウス空間の重力
潜在空間を「押し込める」力
ユークリッド空間の不均一性
球面への脱出：vMFという一般化
von Mises-Fisher分布：球面上のガウス分布
vMF分布とは何か
$\kappa$ の直感的理解
正規化定数の複雑さ
不確実性の定量化
エントロピーとしての不確実性
近似式の条件
確信度としての $\kappa$
Out-of-Distribution（OOD）検知
問題：ドーム上の「盲点」
分布表現による解決策
ハルシネーションの幾何学
ハルシネーションとは何か
幾何学的な対策
整列（Alignment）からの解放
従来の問題：座標系の不一致
$\kappa$ による座標フリーの比較
分布埋め込みの学習
アーキテクチャの選択肢
学習の課題
Visualization Break：Attentionの幾何学を見る
デモ：確信度を持つAttention
まとめ
本回のポイント
視点の階層：「点」という言葉の多義性
発展的トピック: Zipf則の幾何学的正体 ～なぜ「頻出語」は広がるのか～
次回予告
実装ノート
vMF分布のパラメータ化
vMF分布からのサンプリング
vMF間のKLダイバージェンス
確信度に基づくOOD検知
座標フリーの分布比較
参考文献
分布埋め込みとvMF分布
不確実性の定量化
OOD検知
ハルシネーションと信頼性
球面上のサンプリング

第9回：拡散と凝縮 ～熱力学との融合～

注意事項
導入：霧から星が凝縮する
標準的な拡散モデル： $\mathbb{R}^d$ 上の定式化
Forward Process：データからノイズへ
解の閉形式：任意時刻への直接ジャンプ
最終状態：ガウス分布への収束
Reverse Process：ノイズからデータへ
スコア関数：確率の流れの方向
スコア関数の幾何学的意味
スコアマッチング：スコアの学習
確率フローODE：決定論的な生成
SDEからODEへ
確率フローODEの利点
ベクトル場としての解釈
Langevin動力学：スコアによるサンプリング
スコアベースのサンプリング
拡散モデルとの関係
エネルギーベースモデルの復活
EBMとは
スコアマッチングによる突破
幾何学的視点の価値
スコアは「確率の流れの方向」
word2vecの再評価：ベクトル演算の復権（解釈の一案）
確率分布の時間発展
Flow Matching：統一的な視点
Flow Matchingとは
拡散モデルとの関係
まとめ
本回のポイント
発展的トピック: 学習の熱力学：不可逆輸送と認識論的コスト
学習とは「パラメータ分布の輸送」である
認識論的コスト (Epistemic Costs)
発展的トピック: 球面上の拡散モデル
標準手法との違い
球面拡散の動機
次回予告
実装ノート
標準的な実装
DDPMの学習ループ
DDIMサンプラー
スコアマッチングの可視化
球面拡散の概念実装
参考文献
拡散モデルの基礎
スコアベース生成モデル
高速サンプリング
Flow Matching
スコアマッチング
エネルギーベースモデル
Langevin動力学

第11回：感覚の統合 ～異種多様体の結婚～

注意事項
導入：異なる感覚器官を持つ知性
異種多様体：それぞれの「住む世界」
モダリティごとの構造的特性
多様体としての解釈
CLIPの革命：共有空間への整列
対照学習の基本アイデア
損失関数の幾何学
球面上の「引力」と「斥力」
温度パラメータの役割
統一多様体の問題：「無理やり同じドームに押し込む」歪み
モダリティ固有の構造が取り出しにくくなる可能性
モダリティギャップ
ゼロショット転移の限界
歴史からの教訓：空間を「広げて」解決する
Frustratingly Easy Domain Adaptation (FEDA)
幾何学的な本質：次元の直交化
「情報の棲み分け」という思想
現代への遺産
CLIPとの対比：「統一」か「分離」か
次世代への示唆：翻訳か統一か
アプローチ1：モダリティ間の構造を保つ写像
アプローチ2：階層的な統合
アプローチ3：動的な統合
具体例：ImageBindとその先
ImageBind：6モダリティの統合
「統一」の質を問う
まとめ
本回のポイント
問い
次回予告
実装ノート：対照学習の基本
コサイン類似度と対照損失
モダリティギャップの可視化
FEDA（空間の拡張）の実装
簡易的なマルチモーダルエンコーダ
参考文献
CLIPと対照学習
ドメイン適応と空間の拡張
モダリティギャップ
CLIPの限界と構成性
ImageBindと多モダリティ統合
マルチモーダル学習のサーベイ

Appendix 3: 動的剪定の幾何学: 柔軟な回路がもたらす知能

注意事項
導入：静的な地図から動的な回路へ
古典的手法の「固定性」
Transformer以降の「動的性」
Attention：空間内のミクロな動的枝刈り
全結合からの選択的遮断
幾何学的解釈：内積による「視界の制限」
情報的剪定としてのAttention：計算は省かない
MoEへの接続
Mixture of Experts (MoE)：マクロな部分空間スイッチング
MoEの基本構造（復習）
「全知識の動員」vs「必要な近傍の活性化」
ルーティングとしての動的剪定
部分空間スイッチングとしてのMoE（仮説的解釈）
より現実的なMoE解釈
MoEの課題：ルーティング崩壊（Routing Collapse）
スパース性（疎性）の幾何学：条件依存の有効性
高次元空間の「空虚さ」
スパース化の有効性：条件依存
SNR観点の例示モデル（概念的理解のための簡略化）
Dense表現が有利な場合
効率化技術の体系化（GQA, LoRA, MoD）
GQA (Grouped-Query Attention)：視点の冗長性削減
LoRA (Low-Rank Adaptation)：更新ランクの削減
MoD (Mixture of Depths)：深さ方向の剪定
統一的整理
FlashAttention：メモリI/O最適化としての設計
GPUメモリ階層という制約
FlashAttentionの核心：I/O削減と再計算戦略
「パッキング」比喩の限界と正確な理解
結論：知能と抽象化
「何を計算しないか」を決める知能
抽象化としての選択
本資料の位置づけと限界
最終的な問い
実装ノート
Attentionの計算パターン比較
MoEの簡略実装
GQA (Grouped-Query Attention) の実装
参考文献
Transformer と Attention
Pruning（剪定）
Mixture of Experts (MoE)
効率化手法
情報理論と抽象化
まとめ
重要な注意点
講義本編との接続
次のステップ

Appendix 4: 空間の「物差し」再考: 2点間から情報の密度まで

注意事項
導入：「物差し」が世界を定義する
幾何学とは「測る」こと
「点」の正体：スカラではなく分布の代表
AIにとっての多層的な定規
対称的な尺度（距離）：配置と構造の固定
内積：方向と大きさを測る基本道具
コサイン類似度：方向だけを見る
Attentionとの関係
双曲距離：階層構造の深さを測る
非対称な尺度（ダイバージェンス）：学習の駆動力
距離では学習の方向が見えない
KLダイバージェンス：分布の非対称な隔たり
非対称性の幾何学的意味
非対称性が学習を駆動する
計量としてのフィッシャー情報：空間の感度を測る
「局所と大局」の比喩とその限界
フィッシャー情報行列：分布の感度を測る
直感的理解：ジャングルと砂漠のメタファー
数値例：正規分布の場合
自然勾配法：曲がった空間での最適化
自然勾配の幾何学的意味：「霧」をどう動かすか
実装上の課題
AttentionとMoEとの比喩的対応
付録：コード例
KLダイバージェンスの非対称性の可視化
フィッシャー情報行列の数値計算（正規分布）
自然勾配と通常勾配の比較（玩具問題）
まとめ
情報の3層構造：「雨粒」から「感度」へ
第7回との統合：「点」の二重性
ゴール
講義本編との接続
リーマンの先へ：フィンスラー計量とシンプレクティック形式
次のステップ：動態論へ
参考文献
情報幾何学（基礎）
自然勾配法
KLダイバージェンスと損失関数
双曲幾何学（階層構造）
Attention と内積
フィンスラー幾何学とシンプレクティック幾何学
MoE（Mixture of Experts）