Quiz · Attention Mechanism

Attention 機構のクイズ

3 問。すべて選んだら採点ボタンを押してください。

Q1. Attention で √d_k で割る (scaled) 目的は?

計算を高速化するため内積の大きさを抑え、softmax が極端にならないようにする勾配を 1 に正規化するため値が負にならないようにする

Q2. GPT 系のような自己回帰モデルに必要な Causal Mask の役割は?

計算を半分にする未来位置の Attention スコアを -∞ にし、過去のトークンだけ見えるようにする softmax を高速化する Multi-Head の数を制限する

Q3. Attention の計算量が文脈長 N に対して O(N²) であることの帰結は?

層を深くできないコンテキスト長を伸ばすコストが急増する(長文脈の本質的限界) Multi-Head 数を増やせない学習データが偏る