第2回: ノルムの呪い: 意味と不確実性の未分化（理解度チェック）

要点をつかむ

Q1. ノルムの三重の意味

あるベクトルのノルムが、概念の表現強度、予測の確信度、学習中に生じた偶然のスケールのすべてに影響しているとする。この状態を問題視する理由として、最も適切な説明はどれか。

本文の対応箇所： 参照する

Q2. Word2Vec（単語ベクトル学習手法）のノルム

Word2Vec（単語ベクトル学習手法）の学習後の単語ベクトルでノルムの大きさを解釈するとき、最も慎重な説明はどれか。

本文の対応箇所： 参照する

Q3. 距離の集中

各成分が独立に標準正規分布に従うランダムベクトル $\mathbf{x}$ を考える。 $r=\parallel \mathbf{x}\parallel$ について、次元 $d$ が大きくなると何が起きるか。

本文の対応箇所： 参照する

Q4. 直交性の祝福

高次元空間でランダムに選んだ二つのベクトルがほぼ直交することは、なぜ「呪い」ではなく「祝福」にもなりうるのか。

本文の対応箇所： 参照する

条件を見極める

Q5. 距離の集中が成り立つ条件

距離の集中について、最も適切な前提はどれか。

本文の対応箇所： 参照する

Q6. アンビエント次元と内在次元

1000次元空間に埋め込まれているが、データ自体は10次元程度の多様体上に集中している場合、最も適切な説明はどれか。

本文の対応箇所： 参照する

Q7. 学習済み表現への適用

ランダムベクトルの高次元幾何を、学習済みの意味表現へ適用するときの注意として正しいものはどれか。

本文の対応箇所： 参照する

仕組みを考える

Q8. ハブ化と内積

内積 $\mathbf{a}\cdot \mathbf{b}=\parallel \mathbf{a}\parallel \parallel \mathbf{b}\parallel \cos \theta$ を類似度に使う。方向の類似度が同程度なら、どのベクトルがハブ化しやすいか。

本文の対応箇所： 参照する

Q9. スケールと確信度

ロジットを $\mathbf{z}\mapsto \alpha \mathbf{z}$ （ $\alpha >1$ ） と変換したとき、Softmaxの出力について正しい説明はどれか。

本文の対応箇所： 参照する

Q10. 直交性と意味構造

高次元空間でランダムベクトルがほぼ直交するという事実だけから、意味のある埋め込み空間が得られるか。

本文の対応箇所： 参照する

設計につなぐ

Q11. ノルムの混線への対応

ノルムが表現強度・確信度・偶然のスケールを同時に表し、解釈しにくくなっているモデルを考える。この混線への、一つの対応方針はどれか。

本文の対応箇所： 参照する

Q12. カプセルネットワークの位置づけ

ある表現方式が、ベクトルの方向を物体の姿勢、長さを物体の存在確率として扱う設計を採用しているとする。この方式への評価として、最も適切なものはどれか。

本文の対応箇所： 参照する

Q13. 角度中心の設計の適用範囲

ノルムに予測の確信度と偶然のスケールが混在しているモデルで、ノルムを固定して方向の類似度を使う設計を考える。この設計についての最も慎重な説明はどれか。

本文の対応箇所： 参照する

Q14. LayerNorm（Layer Normalization、層正規化）の位置づけ

学習済み表現を内積で検索すると、特定のベクトルが意味の違いを越えて上位に現れる。最初に行う診断として、最も適切なものはどれか。

本文の対応箇所： 参照する