第6回: Transformerという測量士: 動的な接続(理解度チェック)
動的な空間
Q1. Transformerの構成
Transformerを構成する要素の組み合わせとして、適切なものはどれか。
本文の対応箇所: 参照する
Q2. カーネル法とAttentionの使い分け
カーネル法とAttentionの選択について、適用条件に関する判断として最も適切なものはどれか。
本文の対応箇所: 参照する
Q3. Query・Key・Value
Scaled Dot-Product AttentionにおけるQuery、Key、Valueの役割として正しいものはどれか。
本文の対応箇所: 参照する
Q4. 球面解釈の条件
Attentionを球面上の角度中心の計算として解釈するとき、必要な注意はどれか。
本文の対応箇所: 参照する
複数の視点と位置
Q5. Multi-head Attention
Multi-head Attentionの意義として、適切な説明はどれか。
本文の対応箇所: 参照する
Q6. RoPE(Rotary Position Embedding、回転位置埋め込み)
RoPE(Rotary Position Embedding、回転位置埋め込み)が位置情報を表現する方法として、正しいものはどれか。
本文の対応箇所: 参照する
Q7. Attentionのスケーリング
Scaled Dot-Product Attentionで内積をキー次元の平方根で割る理由はどれか。
本文の対応箇所: 参照する
Q8. 連続と離散の橋渡し
あるAttentionヘッドの重みが複数トークンへ広がっている。出力の意味を確認する説明として、最も適切なものはどれか。
本文の対応箇所: 参照する