Skip to content
第4回: 分類を確率で読む: Softmaxと情報幾何学

第4回: 分類を確率で読む: Softmaxと情報幾何学 ​

TIP

読了後に、理解度チェックで要点を確認できる。 このページで登場した用語は、キーワード集でも確認できる。

注意事項 ​

  • 「ロジット=角度」の解釈は、重みベクトルと入力ベクトルの両方が L2 正規化されている場合に成り立つ。標準的なSoftmax分類器では、ノルムの影響も混在する。
  • 情報幾何学との接続(Fisher情報=リーマン計量)は、正則性条件(パラメータに関する微分可能性、台の一致など)の下で成り立つ標準的な対応である。本回では正則性を仮定して議論を進める。
  • 自然勾配とAdamの関係は「解釈の一つ」であり、確定的な理論的基礎ではない。

導入:連続と離散の界面 ​

連続空間の離散化という課題 ​

深層学習の多くのタスクは、最終的に離散的な決定を要求する。画像分類なら「猫か、犬か」、言語モデルなら「次のトークンは何か」。これらはカテゴリカル変数の予測問題であり、出力は本質的に離散的である。

ところが、第3回で見た表現空間はそうなっていない。意味の表現空間は連続的であり、単位球面上の点として埋め込まれた単語やクラスは、無限の方向を持ちうる。連続的な方向の集合から、なぜ「猫」「犬」というきっちり2つの答えが出てくるのか。この「連続的な意味」を「離散的な記号」に変換するには、何らかの変換装置が必要になる。

分類とは、連続空間の離散化である。

素朴に考えれば、これは閾値処理で片付きそうに見える。値がある基準を超えたら「猫」、そうでなければ「犬」、というように。しかし学習には微分可能性が要る。勾配降下法は連続な最適化アルゴリズムであり、離散的な出力を直接扱えない。閾値処理は境界の前後で微分が0か未定義になり、そこに勾配は流れようがない。したがって、離散(頂点)の「手前」に、連続的な確率分布という中間層を置く必要がある。

Softmaxという関数 ​

離散的な答えをそのまま出すと、選択が切り替わる境目で勾配を使った学習が難しくなる。そこで、最終的な選択の前に、各カテゴリをどれくらい有力と見るかを表す確率分布を置く。

その変換を行う関数が Softmax である。名前の max は、最も大きいスコアを選ぶ操作を連想させる。通常の max や argmax が最大の値・カテゴリだけを残すのに対して、Softmaxはスコアの大小を保ったまま、すべてのカテゴリに確率を割り当てる。最大のスコアを持つカテゴリほど大きな確率になるが、ほかのカテゴリにも確率が残る。この意味で、Softmaxは「最大の選択をなめらかな確率分布にしたもの」と考えられる。

たとえば、3カテゴリのスコアが (2,1,0.1) なら、argmax は最初のカテゴリだけを選ぶ。一方、温度を τ=1 としたSoftmaxは、およそ (0.66,0.24,0.10) という分布を返す。スコアが同じなら確率も同じになり、高いスコアのカテゴリほど大きな確率になる。

Softmaxは、任意の実数ベクトル z∈RK (ロジット、logit)を確率分布に変換する:

softmax(z/τ)i=exp⁡(zi/τ)∑j=1Kexp⁡(zj/τ)

Softmaxの出力を pi とすると、スコア差は確率の比に反映される。上式から、 pi/pj=exp⁡((zi−zj)/τ) が成り立つ。

ここで τ>0 は温度パラメータである。温度を下げると最大スコアのカテゴリに確率が集まり、上げると分布がなだらかになる。したがって、温度を0に近づける極限では、Softmaxの分布は最大スコアのカテゴリに集中する(最大スコアが同点の場合は、その同点カテゴリ間で均等に分かれる)。

指数関数を使う理由は、確率を正に保ったままスコア差を表現でき、滑らかに微分できることだけではない。確率単体への写像としての性質を確認した後、最大エントロピー原理から指数形を導く。さらに、情報幾何学の立場から確率分布の空間の計量構造を考える。

幾何学:Softmaxと確率単体への写像 ​

第3回で構築した単位球面上の表現から、最終的な離散選択に至るまでには、いくつかの段階がある。飛び石を一つ抜かせば話が早いようにも思えるが、実際には抜かせない。Softmaxはその中核を担う関数であり、まずはSoftmaxが値を落とし込む先の空間から見ていく。

確率単体:確率分布の空間 ​

出力そのものより先に、出力が住む場所を知っておいたほうがよい。確率単体(probability simplex) と呼ばれるこの空間を定義しよう。

K 個のカテゴリがある分類問題を考える。各カテゴリへの確率を p1,p2,…,pK とすると、これらは以下の制約を満たす:

∑i=1Kpi=1,pi≥0

この制約を満たす点の集合が、 (K−1) 次元の確率単体 ΔK−1 である。

カテゴリ数 K単体の次元幾何学的形状
21次元線分(両端が [1,0] と [0,1] )
32次元三角形
43次元四面体
K(K−1) 次元(K−1) -単体

確率単体は凸集合である。この単純な図形の中に、分類問題の全体像が縮んで入っている。単体の頂点はone-hotベクトル(ひとつだけ1、他は0)、すなわち「確定的な選択(離散)」を表す。一方、単体の内部は、複数のカテゴリに確率が分散した状態、すなわち「迷い(連続)」を表す。分類とは、この単体の内部から頂点へと移動するプロセスとして理解できる。

確率単体 Δ²(K=3)

図: K=3 の確率単体 Δ2 。赤い実線が境界(いずれかの pi=0 )、青い破線の内側が開内部 int(Δ2) (滑らかな多様体)。Softmaxの出力は常に内部に留まり、境界には到達しない。

Softmaxは確率単体への写像 ​

場所が決まったので、そこへ何を写すかを改めて見直す。この関数を幾何学的に理解すると、Softmaxは「 RK から確率単体の内部(interior) int(ΔK−1) への滑らかな写像」として捉えられる。入力のロジット空間は K 次元のユークリッド空間であり、出力は (K−1) 次元の確率単体の内部である。次元が1つ減るのは、確率の和が1という制約のためである。

CAUTION

数式から明らかだが、どの次元の値も、数理上は決して0にも1にもならない。これはSoftmaxの重要な構造的性質である。ただし、コンピュータでは数値表現の限界から0や1に丸められうることに注意。

Softmax写像

図: Softmax写像の全体像。ロジット空間 RK の各点が、確率分布の空間である単体の内部 int(ΔK−1) に写される様子。オレンジの点は具体的なサンプル( z1,z2,z3 )の対応関係を示す。特に、点 z2=1=(1,1,1) を通り 1 方向に伸びる直線上にある点(紫色のドット z2+c11,z2+c21 )は、Softmaxの平行移動不変性により、すべて単体上の同一の分布(一様分布)へと写される。Softmaxの出力は常に各要素が正( pi>0 )となるため、像は境界(赤)に到達せず、常にその内側に留まるのが特徴である

NOTE

単体の「内部」と多様体構造: 確率単体 ΔK−1 は、境界(いずれかの pi=0 )を含む凸集合であり、境界の「角(かど)」や「辺」があるため、それ自体は滑らかな多様体ではない。しかし、Softmaxの出力は指数関数の性質上 pi>0 を常に満たし、境界に到達しない。したがって、Softmaxの像は単体の開内部 int(ΔK−1)={p∈ΔK−1∣pi>0∀i} に限られる。この開内部は境界を持たない (K−1) 次元の滑らかな多様体であり、情報幾何学で扱う統計多様体として自然に機能する。本講義で確率単体を「多様体」と呼ぶとき、特に断りがない限り、この開内部を指す。

TIP

「境界の呪い」とSoftmaxの功績: 上述の「Softmaxは決して0にならない(常に単体の内部に留まる)」という性質は、自然言語処理の歴史において、実は「計算の破綻」を防ぐための決定的な役割を果たしている。

1. 境界の呪い(無限大の損失) かつての素朴なn-gramモデル(最尤推定)では、学習データに無い単語の確率は 0 になる。これは幾何学的に、分布が単体の「境界」に張り付く状態だ。もし推定された分布が正解データに対して確率 0 を割り当ててしまうと、負の対数尤度は −log⁡0=∞ となり、学習や評価が破綻する。 (KLダイバージェンスの定義において、 P予測(x)=0 かつ P真(x)>0 となる点が一つでもあると、対数項 log⁡(P真/P予測) が無限大に発散してしまうためだ。)

2. 構造による解決 先人たちはこの「確率0」を回避するため、Laplace平滑化(カウントに +1 )やKneser-Ney平滑化など、手動で分布を境界から引き剥がす処理に苦心した。 対してSoftmaxは、ロジットが有限である限り exp⁡(z)>0 を保証し、構造的に「確率0による計算破綻」を回避する。

現代でもデータ疎性の問題自体は残るため(その対策の一例としてLabel Smoothing等が使われる)、統計的な課題が消えたわけではない。しかし、Softmaxのおかげで、少なくとも「たった一箇所の確率0で損失が無限大になり、計算全体が破綻する」という悪夢からは解放され、安心してエンドツーエンド学習が行えるようになったのである。

なぜSoftmaxは確率を直接扱わずにロジットを使うのか ​

そもそも、確率をネットワークに直接出力させればSoftmaxは要らないのではないか、という問いは自然に出てくる。実際に試してみると、いくつもの問題が生じる。

  1. 制約の複雑さ

    ∑ipi=1,pi≥0 という制約を満たしながら勾配降下法を適用するのは面倒で、制約付き最適化や射影演算が必要になる。

  2. 線形変換との不整合

    ネットワークの最終層は通常 z=Wx+b という線形変換であり、その出力は RK 全体を取りうる。この出力が自動的に単体の制約を満たす保証はないため、直接確率として解釈できない。

  3. 数値的な扱いづらさ

    確率が0に近いとき、勾配が不安定になりやすい。一方、ロジット空間 RK は制約のない全空間であり、線形変換の出力をそのまま受け取れる。

Softmaxは、この「自由な実数空間」から「制約された確率分布の空間」への滑らかな橋渡しを担う。ネットワークは自由に予測し、Softmaxが事後的に整合性を保証するという分業が、実装と学習の両面で効率的なのである。

NOTE

ロジット(logit)とは: ロジット zi とは、確率 pi に変換される前の「生のスコア」であり、任意の実数値を取りうる。名前の由来は、2クラス分類におけるロジスティック関数(シグモイド関数) p=σ(z)=11+e−z の逆関数 z=σ−1(p)=log⁡p1−p が「log-odds(対数オッズ)」と呼ばれることから、その短縮形としてlogitと命名された。

ただし、多クラス分類における「ロジット」は、厳密には2クラスの対数オッズとは異なる。2クラスの場合、ロジット z と確率 p の間には z=log⁡(p/(1−p)) という一意な関係がある。一方、Softmaxでは、Softmaxの平行移動不変性により、ロジット z と確率 p の間には zi=log⁡pi+C ( C は任意定数)という関係しか成り立たない。つまり、多クラスのロジットは対数確率に定数を加えたものであり、対数オッズそのものではない。にもかかわらず「ロジット」と呼ばれるのは、2クラスの場合の自然な拡張として、また確率の制約から解放された「生のスコア」という共通の役割を担うためである。

球面から確率単体へ:第3回との接続 ​

導入で開いたままにしていた問いに、ここで戻る。第3回で表現空間を単位球面 Sd−1 に制約する設計を見たが、その球面上の点は、具体的にはどうやってロジットという実数の列に変換されるのか。

nGPTのような設計では、表現空間を単位球面 Sd−1 に制約する。分類を行う際、入力の埋め込み x と各クラスの代表ベクトル wk の内積をロジットとして計算する:

zk=wk⊤x

両者がともに単位ノルムに正規化されている場合、この内積はコサイン類似度に等しく、 zk=cos⁡θk となる。すなわち、ロジットは角度情報を直接反映する。

この変換の流れを整理すると:

Sd−1,(方向)→(1)RK,(ロジット;角度情報)→(2)ΔK−1,(確率分布)

ここで、 →(1) は各クラス重みとの dot product、 →(2) は Softmax による確率化を表している。

CAUTION

正規化が前提: この「角度→確率」の対応は、入力と重みの両方が正規化されている場合に限る。標準的なTransformerの出力層では、重み行列や埋め込みが正規化されていないことが多く、ノルムの影響もロジットに混在する。

Softmaxの冗長性:平行移動不変性と商空間 ​

K 次元のロジットを受け取って K 次元の確率を返すのだから、一見すると情報の入出力は釣り合っているように見える。ところが出力の確率は ∑ipi=1 という制約を満たすため、自由度は実質 K−1 しかない。どこかで1次元分が消えている。この「1次元分の冗長性」は、学習ダイナミクスや幾何学的な解釈において重要な意味を持つ。

平行移動不変性: Softmaxは、すべてのロジットに同じ定数を加えても出力が変わらない。

softmax(z+c⋅1)=softmax(z)

これは、ロジット空間における「全体的なシフト」がSoftmaxによって吸収されることを意味する。幾何学的には、Softmaxは RK を (K−1) 次元の確率単体に写すが、その際に 1=(1,1,…,1) 方向の情報が失われる。

このように、特定の方向(ここでは 1 方向)の差を無視し、同じものとみなして扱う空間を、数学的には 商空間(Quotient Space) RK/R1 と呼ぶ。Softmaxは 1 方向の平行移動に対して不変であるため、この商空間を経由して(商空間上へ因子化して)、確率単体の内部へ値をとる写像として理解できる。なお、有限のロジット値では単体の境界(確率0)には到達せず、境界は極限としてのみ現れる。

勾配への影響: この商空間の構造は、学習プロセスにも直接現れる。クロスエントロピー損失 L=−log⁡py の勾配を計算すると以下のようになる。

∂L∂zi=pi−1[i=y]

この勾配は常に ∑i∂L∂zi=0 を満たす。つまり、勾配は 1 方向に成分を持たない(零和制約)。学習は自動的に冗長な方向を避け、実質的な K−1 次元の商空間内だけで進むこととなる。

性質影響
平行移動不変性ロジットの絶対値は意味を持たない(相対的な差のみが重要)
勾配の零和パラメータ更新の勾配は 1 方向に射影されない
バイアスの冗長性1つのクラスのバイアスを固定してもモデルの表現力は不変

NOTE

ゲージ自由度とバイアス項: 物理学の言葉を借りれば、この 1 方向の冗長性はゲージ自由度に対応する。分類層 z=Wx+b において、同定性(Identifiability)の確保やバイアス全体の一様シフト( 1 方向)のドリフトを抑えるために1成分を0に固定する実装があるが、これは「ゲージ固定」を行っていることに相当する。ただし、L2正則化のようなゲージ不変でない正則化を全成分にかける場合、どの成分を固定するかによって正則化項の値が変わり、最適化の経路がゲージ選択に依存し得る点には注意が必要だ。

この構造は情報幾何学的にも解釈できる。カテゴリカル分布のパラメータ空間が (K−1) 次元であることは、Softmaxが商空間構造を持つことと直結している。より正確には、 RK→RK/R1 の商射影を通ってSoftmaxが因子化されることで、確率単体(内部)への対応が与えられる。Fisher情報行列が K 次元のままだと特異になるのは、この構造によって1次元分の情報が「潰れている」ことの反映である。

統計学:最大エントロピー原理と指数形 ​

Softmaxがスコアを確率に変えることは分かった。では、なぜ「確率を割り当てる」だけでなく、指数関数を使ったこの形を選ぶのだろうか。一つの答えが、最大エントロピー原理である。

まず、エントロピーとは何か ​

確率分布のエントロピーは、その分布がどれくらい不確実かを表す量である。カテゴリ i の確率を pi とすると、シャノンエントロピーは

H(p)=−∑ipilog⁡pi

で定義される。 pi=0 の項は、極限に従って 0log⁡0=0 とする。確率が1つのカテゴリに集中していれば結果は予測しやすく、エントロピーは小さい。反対に、確率が多くのカテゴリへ広がっていれば結果は予測しにくく、エントロピーは大きい。対数の底を2にすれば単位はビット、自然対数を使えばナットになる。以下では自然対数を使う。

たとえば、結果が必ず決まっている分布 (1,0,0) のエントロピーは0である。3カテゴリが同じ確率の分布 (1/3,1/3,1/3) ではエントロピーが log⁡3 となり、3カテゴリの分布の中で最大になる。

エントロピーの中にある −log⁡pi は、結果 i が起きたときの 情報量(意外さ) を表す。確率の低い出来事ほど、起きたときの情報量は大きい。シャノンエントロピーは、その情報量を確率分布に従って平均したものだ。

ここで、似た名前の量と区別しておく。

  • シャノンエントロピー H(P) は、ひとつの分布 P 自身の不確実さを測る。
  • 交差エントロピー H(Q,P)=−∑iqilog⁡pi は、目標分布 Q に対して予測分布 P がどれだけ低い確率を割り当てているかを測る。分類で正解ラベルが一つのカテゴリに集中している場合、交差エントロピー損失は正解カテゴリの −log⁡py になる。

条件が限られているとき、何を選ぶか ​

ここで、3つの選択肢にスコア f=(0,1,2) が付いていて、選択肢の平均スコアが 0.8 だと分かっているとする。この条件を満たす確率分布は一つとは限らない。たとえば、 (0.2,0.8,0) と (0.6,0,0.4) はどちらも平均スコアが0.8になる。平均という条件だけでは、分布は決まらない。

このとき、分かっている平均以外のことまで勝手に決めたくないなら、条件を満たす分布のうちエントロピーが最大のものを選ぶ。これが最大エントロピー原理である(Jaynes, 1957)。「最もランダムな分布」とは、既知の条件を守りながら、根拠のない偏りをできるだけ加えない分布、という意味である。最大エントロピー原理は、真の分布が必ずその形だと主張するものではない。与えた制約しか分からないときの、明示的な選択基準である。

最大化すると指数形になる ​

一般に、カテゴリ i にスカラー特徴量 fi が対応づけられ、その期待値 f¯ が分かっているとする。ここでは fi はすべて同じ値ではなく、 minifi<f¯<maxifi を仮定する。この条件のもとでは、エントロピーを最大にする分布は全カテゴリに正の確率を持つ。

最大化の結果は、次の指数形になる:

pi=exp⁡(λfi)∑jexp⁡(λfj)

λ は期待値の制約を満たすように決まる未定乗数である。ロジットを zi=λfi と置けば、これは温度1のSoftmaxになる。

TIP

指数形の導出: 求める分布は、次の制約付き最適化問題の解である。

maxpH(p)=−∑ipilog⁡pi

制約は、確率の非負性・総和・特徴量の期待値である。

pi≥0,∑ipi=1,∑ipifi=f¯

上で仮定した条件のもとでは解が pi>0 を満たすため、等式制約の未定乗数 λ と ν を用いて微分できる。

L(p,λ,ν)=−∑ipilog⁡pi+λ(∑ipifi−f¯)+ν(∑ipi−1)

各 pi で偏微分し、ゼロと置く。

−log⁡pi−1+λfi+ν=0

したがって、 pi=exp⁡(λfi+ν−1) となる。確率の総和が1になるよう正規化すれば、本文の指数形が得られる。エントロピーは厳密に凹で、制約集合は凸なので、この解が一意の最大解である。

未定乗数 λ は正にも負にもなり、正の温度の逆数とそのまま同一視することはできない。先ほどの例では、一様分布の平均スコアは1である。平均を0.8にするには低いスコア側へ確率を寄せるため、 λ<0 となる。

期待値が特徴量の最小値または最大値に一致する場合、解はその値を持つカテゴリ上の一様分布になる。それ以外のカテゴリの確率は0であり、有限のロジットによるSoftmaxでは表せない。上の指数形では λ→−∞ または λ→+∞ の極限に対応する。

特徴量の期待値制約が複数ある場合も、解が全カテゴリに正の確率を持つなら指数形が得られる。対応する特徴量の重み付き和 zi=∑aλafia がロジットになる。この導出は、指定した期待値制約のもとでSoftmax形式が得られることを示している。Softmaxがあらゆる状況で唯一の確率化手法だという意味ではない。

NOTE

球面上での対応: 球面上の面積測度を基準に、平均ベクトル E[x] を固定してエントロピーを最大化すると、von Mises-Fisher(vMF)分布が得られる(第3回参照)。ここでは平均ベクトルのノルムが1未満の場合を考える。方向だけでなくノルムも指定することで、分布の集中度まで決まる。カテゴリ上のSoftmaxと球面上のvMFは、異なる空間における最大エントロピー分布として指数形が対応している。

シャノンエントロピーは、ユークリッド的な比喩として、確率単体上の「中心からの距離」のように解釈できる。ただし、これは厳密な幾何学的距離ではなく、直感的な理解のための比喩である。

位置エントロピー意味
頂点(one-hot)H=0完全に確定、情報なし
中心(一様分布)H=log⁡K最大の不確実性
中間0<H<log⁡K部分的な確信

Softmaxは、ロジットの大きさに応じて、この「中心から頂点への位置」を決定する。ロジットの差が大きいほど頂点に近づき、差が小さいほど中心に近づく。

NOTE

計量の選び方による違い: 「距離」をどう測るかは一意ではない。ユークリッド距離、KLダイバージェンス、Fisher計量に基づく測地距離など、採用する計量によって「中心からの距離」の意味は変わる。本節の説明はユークリッド的な直感に基づいているが、情報幾何学ではKLダイバージェンスや測地距離を使うことが多い。

Log-Sum-Expの凸性:最適化しやすさの源泉 ​

最大エントロピー原理はSoftmaxの「形」を説明した。しかし、その形が実際に学習しやすいかどうかは別の問題である。「なぜSoftmaxなのか」に対するもう一つの答えが、Log-Sum-Exp (LSE) 関数の凸性である(Boyd & Vandenberghe, 2004)。

Softmaxの分母に現れるLSE関数は以下で定義される:

LSE(z)=log⁡∑j=1Kexp⁡(zj)

この関数は 凸関数 である。凸性の直感的な理解として、LSEは「滑らかな最大値関数」と見なせる。実際、以下の関係が成り立つ:

maxjzj≤LSE(z)≤maxjzj+log⁡K

max関数は凸だが微分不可能な点を持つ。LSEはこれを滑らかに近似しており、凸性を保ちながら微分可能性を獲得している。

なぜ凸性が重要か? クロスエントロピー損失は、正解クラス y に対して以下のように書ける:

L(z)=−zy+LSE(z)

第一項 −zy は線形(したがって凸かつ凹)、第二項 LSE(z) は凸である。したがって、ロジット z に関して損失関数全体が凸になる。

性質最適化への影響
凸関数局所最適解=大域最適解(Softmax回帰では W,b に関しても凸)
滑らかさ勾配法が安定して収束
Lipschitz連続な勾配学習率の設定が容易(下記参照)

勾配とヘッセ行列の構造: LSEの勾配と二階微分は以下のように計算される:

∇LSE(z)=softmax(z)=p∇2LSE(z)=diag(p)−pp⊤

このヘッセ行列は、Softmax出力 p の共分散行列と同じ形式である。 スペクトルノルムで上から抑えられ、最大固有値は高々 1/2 である(例えば p=(1/2,1/2,0,…,0) のように2クラスに確率が集中したときに達する)。 実際、2クラスの場合は非ゼロ固有値が 2p(1−p) となり、 p=1/2 で最大 1/2 を取る。 この有界性が、勾配のLipschitz連続性を保証し、適切な学習率の設定を可能にしている。

この凸性は、後述するCRFにおいても中心的な役割を果たす。CRFの分配関数 Z(x) は、系列全体にわたるlog-sum-expとして表現され、同様の凸性を持つ。

CAUTION

深層学習では全体として非凸: 上記の凸性は「ロジット z に関して」の話である。深層学習では、ロジットは入力からの非線形変換を経て計算されるため、パラメータ全体に関しては損失関数は非凸である。しかし、出力層付近ではこの凸構造が残っており、学習の最終段階での収束を助けている。

NOTE

数値安定性との関係: LSEの計算では、オーバーフローを防ぐために LSE(z)=maxjzj+log⁡∑jexp⁡(zj−maxjzj) という等価な形式が使われる。これは凸性を保ったまま数値安定性を確保する標準的なテクニックである(実装ノート参照)。

温度パラメータ:分布の鋭さの制御 ​

同じロジットの並びからでも、確信に満ちた分布と迷いに満ちた分布のどちらも作れる。それを可能にするのが温度パラメータ τ である。Softmax関数には、この温度が登場する:

softmax(z/τ)i=exp⁡(zi/τ)∑jexp⁡(zj/τ)

温度の効果を直感的に理解するには、「確率単体への望遠鏡の倍率」として捉えるのが有用である。

温度 τ効果分布の形状
τ→0差が拡大される最大ロジットに集中(argmax的)
τ=1標準的なSoftmax中程度の鋭さ
τ→∞差が縮小される一様分布に近づく

低温ではロジットの差が強調され、分布は頂点(one-hot)に近づく。高温では差が平滑化され、分布は中心(一様)に近づく。

温度パラメータの効果

図: 温度パラメータ τ による分布の変化。ロジット z=(2.0,1.0,0.1) を固定し、 τ を変化させたときの単体上の位置。 τ→0 で頂点(argmax)に集中し、 τ→∞ で中心(一様分布)に近づく。

第3回で見たvMF分布との形式的対応を思い出そう。vMF分布の集中度パラメータ κ は、入力と重みがともに正規化されている(ロジットがコサイン類似度となる)場合に、温度の逆数 1/τ に対応する:

  • 高 κ (低 τ ):鋭い分布、確信度が高い
  • 低 κ (高 τ ):緩やかな分布、不確実性が高い

この対応は、Softmax分類を「球面上の方向分布からのサンプリング」として解釈する際の基礎となる。

CAUTION

対応の限界: vMF分布は連続的な球面上の分布であり、Softmaxは離散カテゴリ上の分布である。両者は「指数関数×内積」という形式が対応しているだけで、確率モデルとして同一視はできない。

温度パラメータは、さまざまな場面で調整される:

場面典型的な設定目的
学習時τ=1標準的な勾配
知識蒸留τ=2∼20ソフトラベルを生成
推論時(多様性重視)τ>1多様なサンプリング
推論時(確定的)τ→0argmax近似

知識蒸留(Hinton et al., 2015)では、教師モデルの「暗黙の知識」をソフトラベルとして抽出するために高温を使う。これにより、「猫に似ている犬」といった微妙な関係性が生徒モデルに伝わる。

情報量:確実性からの遠さ ​

最大エントロピー原理は H(p)=−∑ipilog⁡pi という量を主役に据えたが、この和の中身である −log⁡pi 自体にも意味がある。損失関数にはなぜ log が付くのか、当然の顔をして通り過ぎてしまいがちだが、これも一度は立ち止まる価値がある。

クラス c に対して −log⁡pc で定義される量を 情報量(self-information / surprisal) と呼ぶ。これは「確実性からの遠さ」として捉えることができる:

  • pc=1 (確実な出来事) ⟹−log⁡pc=0 (遠さゼロ、驚きなし)
  • pc≈0 (希少な出来事) ⟹−log⁡pc→∞ (遠さ無限大、大きな驚き)

損失 L=−log⁡py を最小化することは、正解クラス y を「遠い場所」から「手元( py→1 )」へ引き寄せることに相当する。言い換えれば、正解クラスをできるだけ「当然のこと(遠さゼロ)」として扱えるよう、モデルのパラメータを動かしている。

エントロピー H(P)=Ec∼P[−log⁡pc] は、この「遠さ」の分布 P 全体に対する平均値である。第7回では、このエントロピーが分布という「霧の体積」として再登場する。

情報量は「確実性からの遠さ」という一点の量に過ぎなかったが、これを分布同士の隔たりへと一般化すると、確率分布の空間そのものに測るべき構造が見えてくる。次はその構造を情報幾何学として正面から扱う。

情報幾何学:確率分布の空間の計量構造 ​

確率単体を、これまで図形として扱ってきた。ここでは、この空間での「距離」を問い直す。学習とはパラメータを動かし、分布を変えるプロセスである。だとすれば、本当に測りたいのは分布の変化量のはずだ。パラメータの移動量は、その変化を引き起こす手段に過ぎない。

2組の2クラス分布を比較しよう。

  • 組A: (0.99,0.01)→(0.98,0.02)
  • 組B: (0.50,0.50)→(0.49,0.51)

両組のユークリッド距離は 2×0.01 で等しい。しかし統計的な意味は大きく異なる。組Aでは稀な事象の確率が2倍に跳ね上がり、組Bでは2%しか変わらない。変化前の分布から変化後の分布への向き( DKL(P前∥P後) )で測ると、組Aの隔たりは組Bの約15倍になる。 DKL は非対称であり、逆向き( DKL(P後∥P前) )で測れば数値は変わるが、いずれの向きでも「組Aの方が組Bより大きく隔たっている」という定性的な結論は変わらない。ユークリッド物差しは同じ目盛りを与えるのに、分布の変化量は桁違いなのである。

理由は明快だ。単体の上では、確率が0に近いカテゴリほど、同じ幅の変化が統計的に重く響く。ユークリッド距離はこの位置依存性を無視する。しかも、この物差しはパラメータの表記の仕方(座標系の選び方)によっても目盛りが変わる。表記を変えただけで読み値が変わる物差しは、物差しとして失格である。

この2つの欠落を同時に埋めるのが、リーマン計量である。リーマン計量は、各点での微小な変位に長さを与える道具であり、「分布の変化量」を測りたいという要請にそのまま応える。以下では、確率分布の空間にリーマン計量を入れ、それがどんな幾何学をもたらすかを見る。

確率多様体と統計多様体 ​

同じ確率単体という空間を指しているのに、文献によって確率多様体と呼ばれたり統計多様体と呼ばれたりする。この呼び分けには理由がある。

1. 確率多様体 ​

まず、Softmaxの出力 p=[p1,…,pK]⊤ が構成する集合そのものに着目する。

  • 定義: pi>0 かつ ∑pi=1 を満たす点の集合(開単体 int(ΔK−1) )を多様体と見なしたもの。
  • 幾何学的解釈: これは確率分布を「点」として並べた空間である。
  • Softmaxの役割: Softmaxは、自由な実数ベクトル(ロジット)をこの確率多様体上の具体的な一点へと翻訳する「座標系」の役割を果たす。

2. 統計多様体 ​

次に、この空間に統計的な「意味」を付与した構造に着目する。

  • 定義: 確率多様体の上に、フィッシャー情報計量という「定規」と、双対接続という「曲がり方のルール」を導入した構造を指す。
  • 幾何学的解釈: 単なる分布の集合に、「どの分布とどの分布が、統計的にどれくらい識別しやすいか(距離)」という幾何学的な構造が備わった状態である。
  • 計量の必然性: 分布の変化量を測る物差しが要る、という本節冒頭の要請が出発点である。Softmaxは指数型分布族の形式をとるため、この空間にはフィッシャー情報計量が自然に備わり、その要請を満たす。この計量はKLダイバージェンスの二次近似と一致しており、情報の変化量を測るための「真の定規」として機能する。

なぜこの区別が必要なのか ​

呼び方だけの違いなら、気にしなくてもよいはずである。だが、深層学習における最適化を議論する際には、統計多様体としての視点がないと立ち行かなくなる場面が出てくる。

  • 境界の回避: Softmaxは構造的に確率0(単体の境界)を生成しないため、フィッシャー計量が発散することなく、常に滑らかな統計多様体として計算を継続できる。
  • 自然勾配への接続: 私たちが通常の勾配降下法(ユークリッド計量)ではなく、分布の変わりやすさに応じた「自然勾配」を考えるとき、それはこの空間を統計多様体として扱っていることを意味する。

まとめると、Softmaxが作る「場所」を指すなら確率多様体、その空間が持つ「情報の密度や曲がり具合」を議論するなら統計多様体と呼ぶ。Softmaxという関数の選択は、この空間に統計的に最適な「定規」が自動的に備わることを意味している。

Fisher情報行列:確率分布の空間の計量 ​

統計多様体という名前を与えただけでは、まだ何も測れない。確率分布の空間を多様体として扱うのが 情報幾何学(Amari, 2016)であり、この多様体上で実際に「距離」や「角度」を測るための道具が フィッシャー情報行列(Fisher Information Matrix) である。

パラメータ θ で決まる確率分布 p(x;θ) に対し、フィッシャー情報行列 F は以下で定義される:

Fij=Ep(x;θ)[∂log⁡p∂θi∂log⁡p∂θj]

(第0回で導入したリーマン計量 gij(θ) に相当する。)

この行列は、正則性条件(分布の台がパラメータに依存しない、微分と積分の交換が可能など)の下で、確率分布の空間における リーマン計量 として機能する。直感的には、「パラメータをどの方向に動かすと、分布が大きく変わるか」を定量化している。

NOTE

この θ は何を指すか: ここでの θ は、カテゴリカル分布を指定するパラメータ( π1,…,πK 、あるいは実質的にロジット z )であり、それを生成するニューラルネットワークの重み全体ではない(第0回の対応表を参照)。 K クラス分類なら θ は K 次元程度に留まり、フィッシャー情報行列も K×K 程度の小さな行列である。重み全体を θ として同じ議論を行う場合については、Appendix 6で扱う。

NOTE

なぜFisher計量なのか: この計量の正当性は2つの事実に支えられている。1つは、損失関数との一致である。学習で最小化するクロスエントロピーは DKL と本質的に同じ量であり、 DKL を微小なパラメータ変化で2次近似すると、ちょうど 12dθ⊤Fdθ が残る(詳細は Appendix 4)。計量は損失関数の中に最初から入っていた局所構造であり、外から後付けした装置ではない。もう1つは一意性である。有限個の事象上の確率分布の空間において、統計的な粗視化(マルコフ写像)で距離が増えないという自然な条件を課すと、それを満たすリーマン計量は定数倍を除いてFisher計量に限ることが知られている(Chentsov, 1982)。

カテゴリカル分布 p(k)=πk の場合、フィッシャー情報行列の構造は座標系の取り方に依存する。 π1,…,πK をそのまま座標として扱うと、 ∑kπk=1 の制約により行列は特異(退化)になる。独立な (K−1) 次元座標に落とすと、オフ対角成分も現れる。直感的には、Fisher-Rao計量の下で「確率が小さいカテゴリほど、わずかな変化で分布が大きく変わる(境界付近が強く重み付けされる)」という性質があり、これが自然勾配の挙動に影響する。より具体的には、独立座標で見たとき計量成分が概ね 1/πk のオーダーで効くため、 πk→0 で大きくなる。これはまさに、本節冒頭の例(組Aと組B)で確認した位置依存性である。

NOTE

境界での特異性とSoftmaxによる回避: Fisher情報行列は、単体の内部 int(ΔK−1) (すべての πk>0 )では正定値なリーマン計量として機能する。しかし、境界(いずれかの πk→0 )では計量成分が発散し、通常のリーマン多様体としての性質が失われる(計量特異点となる)。Softmaxは指数関数の性質上この境界に到達しないため、出力は常に計量が正定値な領域に留まる。これが、Softmaxの像を「滑らかな統計多様体」として安心して扱える理由である。第0回で導入したリーマン計量の概念が、ここで確率分布の空間に適用されたことになる。空間の「物差し」についてはAppendix 4、確率分布の空間での2種類の「まっすぐ」についてはAppendix 5でさらに掘り下げる。

自然勾配:幾何学に従った降下 ​

計量を手に入れたのだから、これを最適化そのものに使わない手はない。通常の勾配降下法は、パラメータ空間でのユークリッド勾配を使う:

θt+1=θt−η∇θL

しかし、パラメータ空間での「1歩」が、確率分布の空間での「どれだけの変化」に対応するかは、現在地によって異なる。

自然勾配(Natural Gradient) は、フィッシャー情報行列を使って勾配を補正することで、確率分布の空間での「等しい変化量」を実現する(Amari, 1998):

∇~θL=F−1∇θL

幾何学的には、これは「測地線に沿った最急降下」に対応する。ユークリッド勾配が「地図上の北」を指すなら、自然勾配は「実際の地形での最も急な下り坂」を指す。

NOTE

教科書の θ と実装の params のギャップ: ここまでの θ はカテゴリカル分布のパラメータ(数次元)を指しており、フィッシャー情報行列 F もそれに応じた小さな行列である。しかし後述のコード例では、params はネットワークの重み w 全体(数百万次元以上)を指し、その勾配に対して同じ更新式を適用している。この「 θ を分布のパラメータから重み w 全体へ拡張して同じ形式を当てはめる」という発想は、Fisher情報行列を一般の統計モデルのパラメータに対して定義し直すことに相当し、Appendix 6で正面から扱う。

実用的な接続 ​

理屈のうえでは正しくても、フィッシャー情報行列の逆行列を毎ステップ計算するのは現実的ではない。厳密な自然勾配は計算コストが高い。そこで実務では、自然勾配の発想(前条件付け)に触れる近似として、適応的最適化手法がしばしば議論される。

IMPORTANT

Adamとの関係(注意が必要): Adam(Kingma & Ba, 2015)やRMSpropを「経験的フィッシャー情報の近似として解釈できる」という研究提案がある。しかし、これは確定的な「理論的基礎」というより 解釈の一つ である。実際には、(1) Adamは勾配の2次モーメントを座標ごとに正規化するだけで、クロス項を無視している、(2) 経験的フィッシャーと真のフィッシャーは一般に異なる、(3) 損失関数が負の対数尤度でない場合、フィッシャー情報の解釈自体が成り立たない、といった仮定・近似が多く入る。「Adam≈自然勾配」と言い切るのは過剰主張である(Kunstner et al., 2019)。

NOTE

曲率情報を用いた最適化の実用化: 自然勾配の計算はフィッシャー情報行列の逆行列を必要とし、大規模モデルでは直接計算が困難である。実用的なアプローチとして、(1) Fisher近似系:K-FAC(Martens & Grosse, 2015)やEKFAC(George et al., 2018)はクロネッカー積によるブロック対角近似を用いて自然勾配を近似する、(2) ヘシアン系:Sophia(Liu et al., 2023)は対角ヘシアン推定を前条件として用いる二次最適化手法である。SophiaはFisher情報(情報幾何の計量)を直接近似しているわけではなく、損失関数のヘシアンを用いる点で自然勾配とは異なるアプローチだが、曲率情報を活用する点で広義の二次最適化として関連がある。

発展的トピック:構造化と離散化 ​

TIP

ここは読み飛ばしてもよい。

もし固有表現抽出などの「系列データの整合性」が重要なタスク(CRF)や、 強化学習のように「離散的な選択」を微分可能に扱いたい場合(Gumbel-Softmax)は、必要な時に立ち戻って参照すればよい。

構造化予測:点から線へ ​

Softmaxの限界

ここまで見てきたSoftmaxは、各時刻で独立した決定を行う。これは「点の幾何」であり、単体上のどこに落ちるかは、その瞬間だけで決まる。しかし、自然言語処理の多くの問題(固有表現抽出、品詞タグ付け)では、系列全体の整合性が重要である。

例えば、固有表現抽出で「B-PER(人名の始まり)」タグの直後に「I-LOC(地名の内部)」タグが続くことは意味論的に矛盾している。しかし、各時刻で独立にSoftmaxを適用すると、このような矛盾した系列にも正の確率が割り当てられてしまう。

この問題を解決するには、バラバラな「点」の選択を、意味のある「線(パス)」の選択へと組織化する必要がある。

CRF:Softmaxの構造化された拡張

条件付き確率場(Conditional Random Field; CRF)は、この「点から線へ」の拡張を実現する古典的な手法である(Lafferty et al., 2001; Sutton & McCallum, 2012)。

幾何学的には、CRFは以下のように理解できる:

  • 独立Softmaxの場合: 各時刻 t で独立に確率単体 ΔK−1 上の点を出力。出力空間全体は直積空間 (ΔK−1)T

  • CRFの場合: 系列 y∈{1,…,K}T 上の確率分布を直接定義。これは KT 個の可能な系列上の確率分布である

KT 個すべての確率を独立に扱うのは非現実的なので、CRFはポテンシャル関数による因子分解を用いる。これにより、局所的なスコアの和として系列全体のスコアを表現できる:

S(y|x)=∑t=1Tψt(yt,x)+∑t=1T−1ϕ(yt,yt+1)

ここで:

  • ψt(yt,x) : 出力ポテンシャル(各時刻のロジットに相当)
  • ϕ(yt,yt+1) : 遷移ポテンシャル(隣接ラベル間の親和性)

系列全体の確率は、Softmaxと同じ構造で定義される:

p(y|x)=exp⁡(S(y|x))Z(x)

ここで Z(x)=∑y′exp⁡(S(y′|x)) は分配関数である。これは、先に凸性を確認したlog-sum-exp関数の系列版である。

Softmaxとの対比

側面SoftmaxCRF
出力空間各時刻の分布列 (ΔK−1)T系列上の分布
決定単位各時刻の「点」系列全体の「パス」
系列整合性なし遷移ポテンシャルによる制御
log-partitionlog⁡∑kexp⁡(zk)log⁡∑yexp⁡(S(y))
計算量O(TK)O(TK2) (動的計画法)

遷移ポテンシャル ϕ は学習可能であり、訓練を通じて「好ましい遷移」には高いスコア、「矛盾した遷移」には低いスコアが割り当てられる。完全に禁止したい遷移には −∞ を設定することで、ハード制約として扱うこともできる。

現代的な接続

CRFは、深層学習以前の手法だが、その設計原理は現代でも有効である。BERT+CRFのようなハイブリッドモデル(Devlin et al., 2019; Souza et al., 2019)は、局所的な文脈理解(Transformer)と大域的な系列整合性(CRF)を組み合わせることで、固有表現抽出などで高い性能を発揮する。

この「局所的な決定を大域的な構造で組織化する」という発想は、注意機構やグラフニューラルネットワークにも通底している。

NOTE

計算効率とニューラルCRF: CRFで最も確からしい系列を見つけるには、Viterbiアルゴリズム(動的計画法)を使う。これにより KT 通りの系列を O(TK2) で評価できる。現代の実装では、出力ポテンシャル ψt をニューラルネットワーク(BiLSTMやTransformer)で計算し、遷移ポテンシャル ϕ は学習可能な K×K 行列として扱う。

離散への着地:Gumbel-Softmaxとサンプリング ​

CRFで系列全体を組織化しても、最後には一つの答えを選ばなければならない。確率分布(単体の内部)から、最終的に一つの離散的な選択(頂点)を行うには、いくつかの方法がある:

  • Argmax: 最も確率の高いクラスを選ぶ(推論時の標準)
  • サンプリング: 確率に従ってランダムに選ぶ(LLMの生成時)
  • Gumbel-Softmax: 微分可能な離散サンプリング(訓練時)

Gumbel-Softmax

argmaxの問題は微分不可能であることだ。勾配が流れないため、離散的な決定を含むモデルを端から端まで学習することが難しい。

Gumbel-Softmax はこの問題を解決する連続緩和である(Jang et al., 2017; Maddison et al., 2017):

yi=exp⁡((zi+gi)/τ)∑jexp⁡((zj+gj)/τ)

ここで gi∼Gumbel(0,1) はGumbelノイズである。

幾何学的には、Gumbel-Softmaxは「単体内部でランダムに揺らしながら、 τ→0 で頂点に収束する」操作として理解できる。ノイズはカテゴリカル分布からのサンプリングを近似し、低温極限ではargmaxに一致する。

NOTE

Gumbel分布の役割: なぜGumbel分布なのか? Gumbel分布の最大値の分布が、カテゴリカル分布からのサンプリングと一致するという性質(Gumbel-Max trick)に基づいている。

Straight-Through Estimator (STE)

もう一つのアプローチが Straight-Through Estimator (STE) である:

  • 順伝播(Forward):離散(argmax)
  • 逆伝播(Backward):連続(Softmaxの勾配をそのまま使う)

幾何学的に言えば、「見かけは頂点にいるが、勾配は内部から来る」というトリックである。厳密には勾配の推定量としてバイアスがあるが、実用上うまく機能することが多い。

LLMにおける意味

こうして手に入れた「連続→離散」の界面は、LLMの生成過程そのものの見取り図でもある:

  1. 連続的な「思考の軌跡」(hidden states)が球面上を移動する
  2. Softmaxで確率分布(単体内部)に変換される
  3. サンプリング or argmax で離散トークン(頂点)に「着地」する

この過程で、連続表現が持つ微妙なニュアンスは、離散化で失われうる。Top-k や Top-p サンプリングは、「頂点の近傍」からランダムに選ぶことで多様性を確保し、情報の損失を緩和する試みである。

まとめ:3つの視点の統合 ​

指数を取って正規化するだけの、たった1行の関数だった。しかし辿ってきた道のりを振り返ると、この1行に少なくとも3つの異なる必然性が畳み込まれていたことがわかる。

  1. 幾何学: 球面上の方向 → ロジット → 確率単体(内部) → 頂点(離散)という変換プロセス。各段階が異なる空間の間の写像として理解できる。

  2. 統計学: 最大エントロピー原理により、Softmaxの指数形は「最も偏見のない」選択である。Log-sum-exp関数の凸性は、最適化の良さを保証する。

  3. 情報幾何学: 確率単体は歪んだ空間であり、Fisher計量がその歪みを定量化する。自然勾配は、この計量に従った「真の最急降下」を与える。

どれか一つだけでSoftmaxを選ぶ理由としては、正直なところ弱い。幾何学だけなら他の写像でも代用が利くし、統計学だけなら別の分布族でも成り立つ場面がある。3つが同時に満たされる関数は、そう多くはない。幾何学が「場所」を、統計学が「なぜその形か」を、情報幾何学が「どう歩くか」を教えてくれて、初めてSoftmaxの選択が必然に見えてくる。

この必然性は、Softmaxを単一のカテゴリに閉じ込めておく理由にはならない。CRFは、同じ指数+正規化の骨格を保ったまま、候補集合を系列全体へと広げる。「点から線へ」の拡張が可能だったこと自体が、Softmaxの形が偶然の産物ではなかったことの傍証でもある。

TIP

読了後に、理解度チェックで要点を確認できる。 このページで登場した用語は、キーワード集でも確認できる。

次回予告 ​

第5回「分類を境界で読む」では、視点を変える。今回は「確率分布」として分類を捉えたが、次回は「決定境界」そのものに焦点を移す。マージン、サポートベクトルマシン、そしてArcFaceなどの現代的な手法が、どのように頑健な境界を構築するかを扱う。確率と幾何、2つのアプローチを統合することで、分類の全体像が見えてくる。

実装ノート:Softmaxを数値的に安全に扱う ​

NOTE

以下のコードは PyTorch >= 1.9 を前提とする。再現性のために torch.manual_seed(42) 等でシードを固定することを推奨。

数値安定なSoftmax ​

コード例: 04_stable_softmax.py
python
import torch
import torch.nn.functional as F


def stable_softmax(logits, temperature=1.0, dim=-1):
    """数値安定なSoftmax

    Args:
        logits: 入力ロジット
        temperature: 温度パラメータ(default: 1.0)
        dim: softmaxを適用する次元

    Returns:
        確率分布
    """
    # 温度でスケーリング
    scaled = logits / temperature
    # 最大値を引いてオーバーフローを防ぐ
    # (PyTorchのsoftmaxは内部でこれを行うが、明示的に示す)
    shifted = scaled - scaled.max(dim=dim, keepdim=True).values
    exp_shifted = torch.exp(shifted)
    return exp_shifted / exp_shifted.sum(dim=dim, keepdim=True)


# PyTorchの組み込み関数を使う場合
def softmax_with_temperature(logits, temperature=1.0, dim=-1):
    """温度付きSoftmax(推奨)"""
    return F.softmax(logits / temperature, dim=dim)


# 使用例
logits = torch.tensor([2.0, 1.0, 0.1])

print("τ=0.5 (低温):", softmax_with_temperature(logits, 0.5))
print("τ=1.0 (標準):", softmax_with_temperature(logits, 1.0))
print("τ=2.0 (高温):", softmax_with_temperature(logits, 2.0))

# 期待される結果:
# τ=0.5: [0.88, 0.12, 0.01] に近い(最大に集中)
# τ=1.0: [0.66, 0.24, 0.10] に近い
# τ=2.0: [0.49, 0.32, 0.19] に近い(一様に近づく)

Gumbel-Softmax ​

コード例: 04_gumbel_softmax.py
python
import torch
import torch.nn.functional as F


def gumbel_softmax(logits, temperature=1.0, hard=False):
    """Gumbel-Softmax(微分可能な離散サンプリング)

    Args:
        logits: 入力ロジット [batch, num_classes]
        temperature: 温度パラメータ
        hard: Trueなら順伝播でone-hot、逆伝播でソフト勾配(STE)

    Returns:
        サンプリングされた確率ベクトル
    """
    # PyTorchの組み込み関数を使用
    return F.gumbel_softmax(logits, tau=temperature, hard=hard)


# 使用例
logits = torch.tensor([[2.0, 1.0, 0.1]])

# ソフトサンプリング(微分可能)
soft_sample = gumbel_softmax(logits, temperature=0.5, hard=False)
print("Soft sample:", soft_sample)

# ハードサンプリング(STE)
hard_sample = gumbel_softmax(logits, temperature=0.5, hard=True)
print("Hard sample:", hard_sample)  # one-hotに近い

# 温度による変化を可視化
temperatures = [0.1, 0.5, 1.0, 2.0, 5.0]
for tau in temperatures:
    samples = torch.stack([gumbel_softmax(logits, tau, hard=False) for _ in range(1000)])
    print(f"τ={tau}: mean={samples.mean(dim=0)}, std={samples.std(dim=0)}")

正規化された分類器 ​

コード例: 04_normalized_classifier.py
python
import torch
import torch.nn as nn
import torch.nn.functional as F


class NormalizedClassifier(nn.Module):
    """正規化された分類器(角度ベースの分類)

    入力と重みの両方を正規化し、ロジットを純粋な角度情報にする。
    """

    def __init__(self, in_features, num_classes, scale=30.0):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(num_classes, in_features))
        self.scale = scale  # ロジットのスケール(温度の逆数的な役割)

        # 重みを正規化して初期化
        with torch.no_grad():
            self.weight.data = F.normalize(self.weight.data, dim=1)

    def forward(self, x):
        # 入力を正規化
        x_norm = F.normalize(x, dim=-1)
        # 重みを正規化
        w_norm = F.normalize(self.weight, dim=1)
        # 内積 = cosine similarity
        logits = F.linear(x_norm, w_norm)
        # スケーリング(角度マージンの効果を出すため)
        return logits * self.scale


# 使用例
classifier = NormalizedClassifier(768, 10)
embeddings = torch.randn(32, 768)
logits = classifier(embeddings)

# ロジットの範囲を確認
print(f"Logits range: [{logits.min():.2f}, {logits.max():.2f}]")
# 期待値: [-scale, +scale] の範囲(cosineは[-1, 1]なので)

自然勾配の近似(教育目的) ​

コード例: 04_natural_gradient_step.py
python
import torch


def natural_gradient_step(params, loss_fn, data, lr=0.01, damping=1e-4):
    """自然勾配ステップの簡易実装(教育目的)

    警告: これは小規模モデルでの概念実証用。
    大規模モデルではK-FAC等の近似が必要。

    Args:
        params: モデルパラメータ
        loss_fn: 損失関数
        data: 入力データ
        lr: 学習率
        damping: 数値安定性のための正則化項
    """
    # 通常の勾配を計算
    loss = loss_fn(data)
    grads = torch.autograd.grad(loss, params, create_graph=True)

    # フィッシャー情報行列の対角近似(経験的フィッシャー)
    # 注: これは非常に粗い近似
    fisher_diag = []
    for g in grads:
        fisher_diag.append(g.detach() ** 2 + damping)

    # 自然勾配 = F^{-1} * grad
    natural_grads = []
    for g, f in zip(grads, fisher_diag, strict=False):
        natural_grads.append(g.detach() / f)

    # パラメータ更新
    with torch.no_grad():
        for p, ng in zip(params, natural_grads, strict=False):
            p.data -= lr * ng

    return loss.item()


# 注: 実用的な自然勾配の実装には、K-FAC (Martens & Grosse, 2015)
# や EKFAC (George et al., 2018) などの手法を参照されたい。

参考文献 ​

Softmaxと最大エントロピー ​

  • Jaynes, E. T. (1957). Information Theory and Statistical Mechanics. Physical Review, 106(4), 620–630. DOI: 10.1103/PhysRev.106.620
    • 最大エントロピー原理の古典的論文。統計力学との接続を示した。
  • Boyd, S., & Vandenberghe, L. (2004). Convex Optimization. Cambridge University Press. DOI: 10.1017/CBO9780511804441
  • Hinton, G., Vinyals, O., & Dean, J. (2015). Distilling the Knowledge in a Neural Network. arXiv: 1503.02531
    • 知識蒸留の原論文。温度パラメータの実用的な使い方を示した。

情報幾何学と自然勾配 ​

  • Amari, S. (1998). Natural Gradient Works Efficiently in Learning. Neural Computation, 10(2), 251–276. DOI: 10.1162/089976698300017746
    • 自然勾配の一次文献。パラメータ空間の計量構造が学習効率に与える影響を示した古典。
  • Martens, J., & Grosse, R. (2015). Optimizing Neural Networks with Kronecker-factored Approximate Curvature. ICML 2015. arXiv: 1503.05671
    • K-FAC: クロネッカー積によるブロック対角近似を用いた自然勾配の実用的な近似手法。
  • George, T., Laurent, C., Bouthillier, X., Ballas, N., & Vincent, P. (2018). Fast Approximate Natural Gradient Descent in a Kronecker-factored Eigenbasis. NeurIPS 2018. arXiv: 1806.03884
    • EKFAC: K-FACをクロネッカー固有基底で近似する拡張手法。
  • Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization. ICLR 2015. arXiv: 1412.6980 (2014)
    • Adamオプティマイザの一次文献。適応的最適化手法と自然勾配の関係を議論する際の参照先。
  • Kunstner, F., Balles, L., & Hennig, P. (2019). Limitations of the Empirical Fisher Approximation for Natural Gradient Descent. NeurIPS 2019. arXiv: 1905.12558
    • 経験的フィッシャー近似の限界を理論的に分析。Adamと自然勾配の関係を議論する際の重要な参照。
  • Liu, H., Li, Z., Hall, D., Liang, P., & Ma, T. (2023). Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training. ICLR 2024. arXiv: 2305.14342
    • 対角ヘシアン推定を前条件として用いる二次最適化手法。自然勾配(Fisher近似)とは異なるアプローチ。
  • Chentsov, N. N. (1982). Statistical Decision Rules and Optimal Inference. Translations of Mathematical Monographs, Vol. 53. American Mathematical Society. DOI: 10.1090/mmono/053
    • Fisher計量の一意性(Chentsovの定理)の原典。統計的な粗視化で距離が増えないという条件を満たすリーマン計量が、定数倍を除いてFisher計量に限ることを示した。

Gumbel-Softmaxと離散サンプリング ​

  • Jang, E., Gu, S., & Poole, B. (2017). Categorical Reparameterization with Gumbel-Softmax. ICLR 2017. arXiv: 1611.01144
    • Gumbel-Softmaxの原論文。
  • Maddison, C. J., Mnih, A., & Teh, Y. W. (2017). The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables. ICLR 2017. arXiv: 1611.00712
    • Gumbel-Softmaxと独立に提案された「Concrete分布」。

条件付き確率場(CRF)と構造化予測 ​

  • Lafferty, J., McCallum, A., & Pereira, F. (2001). Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML 2001. https://dl.acm.org/doi/10.5555/645530.655813
    • CRFの原論文。系列ラベリングにおける構造化予測の古典。
  • Sutton, C., & McCallum, A. (2012). An Introduction to Conditional Random Fields. Foundations and Trends in Machine Learning, 4(4), 267–373. DOI: 10.1561/2200000013
    • CRFの包括的なサーベイ論文。理論から実装まで網羅。
  • Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019. arXiv: 1810.04805
    • BERTの原論文。Transformerによる文脈表現学習の基盤。
  • Souza, F., Nogueira, R., & Lotufo, R. (2019). Portuguese Named Entity Recognition using BERT-CRF. arXiv: 1909.10649
    • BERT+CRFのハイブリッドモデルの実例(固有表現抽出)。この構成は多くのNERタスクで採用されている。

情報幾何学の教科書 ​

  • Amari, S. (2016). Information Geometry and Its Applications. Applied Mathematical Sciences, Vol. 194. Springer Japan. DOI: 10.1007/978-4-431-55978-8
    • 情報幾何学の標準的教科書。フィッシャー情報行列、自然勾配、双対構造などを体系的に扱う。