Skip to content
第6回: Transformerという測量士: 動的な接続(理解度チェック)

第6回: Transformerという測量士: 動的な接続(理解度チェック)

動的な空間

Q1. Transformerの構成

Transformerを構成する要素の組み合わせとして、適切なものはどれか。

本文の対応箇所: 参照する

Q2. カーネル法とAttentionの使い分け

カーネル法とAttentionの選択について、適用条件に関する判断として最も適切なものはどれか。

本文の対応箇所: 参照する

Q3. Query・Key・Value

Scaled Dot-Product AttentionにおけるQuery、Key、Valueの役割として正しいものはどれか。

本文の対応箇所: 参照する

Q4. 球面解釈の条件

Attentionを球面上の角度中心の計算として解釈するとき、必要な注意はどれか。

本文の対応箇所: 参照する

複数の視点と位置

Q5. Multi-head Attention

Multi-head Attentionの意義として、適切な説明はどれか。

本文の対応箇所: 参照する

Q6. RoPE(Rotary Position Embedding、回転位置埋め込み)

RoPE(Rotary Position Embedding、回転位置埋め込み)が位置情報を表現する方法として、正しいものはどれか。

本文の対応箇所: 参照する

Q7. Attentionのスケーリング

Scaled Dot-Product Attentionで内積をキー次元の平方根で割る理由はどれか。

本文の対応箇所: 参照する

Q8. 連続と離散の橋渡し

あるAttentionヘッドの重みが複数トークンへ広がっている。出力の意味を確認する説明として、最も適切なものはどれか。

本文の対応箇所: 参照する