第13回: 高次元の深淵: 幾何学的な恐怖と祝福(理解度チェック)
高次元の集中
Q1. ほぼ直交
高次元でランダムなベクトルがほぼ直交する現象の読み方として、正しいものはどれか。
本文の対応箇所: 参照する
Q2. ほぼ等距離
高次元で距離が集中すると、近傍探索にどのような問題が起きうるか。
本文の対応箇所: 参照する
Q3. 赤道集中
高次元球面で赤道集中が起きるという説明はどれか。
本文の対応箇所: 参照する
Q4. k近傍法(k-Nearest Neighbors、kNN)と内在次元
高次元空間でのk近傍法(k-Nearest Neighbors、kNN)について、最も慎重な説明はどれか。
本文の対応箇所: 参照する
スパース性と設計
Q5. ANN(Approximate Nearest Neighbor、近似最近傍)とスパース性
近似最近傍探索(Approximate Nearest Neighbor、ANN)が大規模検索で使われる理由はどれか。
本文の対応箇所: 参照する
Q6. MoE(Mixture of Experts、専門家混合)のルーティング
MoE(Mixture of Experts、専門家混合)のルーティングとk近傍法(kNN)の類似性として、適切な説明はどれか。
本文の対応箇所: 参照する
Q7. MoEの課題
MoEでルーティングが偏ると起きる問題はどれか。
本文の対応箇所: 参照する
Q8. 高次元の設計原理
近傍検索の再現率が低く、MoEでは一部のExpertに負荷が偏っている。高次元の性質を踏まえた対応として、最も適切なものはどれか。
本文の対応箇所: 参照する