Appendix 1: 量子化の幾何学: 重みの離散化が多様体に何をするのか(理解度チェック)
量子化と空間
Q1. 量子化の基本
ニューラルネットワークの量子化とは何か。
本文の対応箇所: 参照する
Q2. 重み空間の格子化
量子化を重み空間の「格子化」と見る説明として、正しいものはどれか。
本文の対応箇所: 参照する
Q3. 決定境界への影響
量子化誤差が分類の決定境界付近で問題になりやすい理由はどれか。
本文の対応箇所: 参照する
Q4. 多様体仮説との接続
量子化と多様体仮説の関係について、最も慎重な説明はどれか。
本文の対応箇所: 参照する
手法と誤差を選ぶ
Q5. PTQ(Post-Training Quantization、学習後量子化)とQAT(Quantization-Aware Training、量子化認識学習)
PTQ(Post-Training Quantization、学習後量子化)とQAT(Quantization-Aware Training、量子化認識学習)の違いとして、正しいものはどれか。
Q6. 層ごとの感度
量子化ビット幅を層ごとに変える設計の理由はどれか。
本文の対応箇所: 参照する
Q7. 活性化とKV cache(Key-Value cache、キー・バリューキャッシュ)
LLM(Large Language Model、大規模言語モデル)の量子化で、重み以外にも量子化対象になりうるものはどれか。
本文の対応箇所: 参照する
Q8. 量子化の限界
代表的な入力ではPTQ後の精度が保たれたが、まれな入力で誤分類が増えた。次の検証として、最も適切なものはどれか。
本文の対応箇所: 参照する