分布外入力テストによるワールドモデルの「理解 vs 暗記」判別
本研究は、Transformer世界モデルが5×5 GridWorldの遷移規則を「理解」しているのか「暗記」しているのかを、分布外（OOD）入力テストにより定量的に判別したものである。学習データに含まれるグリッド点（25個の離散座標）だけでなく、グリッド間の連続座標を入力し、予測精度の差異から暗記度（Memorization Index）を計測した。さらに、予測関数の滑らかさ、範囲外入力への外挿能力、データ量・モデルサイズ・エポック数が暗記度に与える影響を体系的に調査した。
主要な結果
- 結果1: ベースモデル（d_model=64, 8000ステップ, 50エポック）の平均暗記度は約1.1で、グリッド間座標にも汎化しており「理解」と判定された
- 結果2: 予測関数は滑らかだが、壁でのクリッピング（不連続点）をシグモイド的カーブで近似しており、「完全な理解」ではなく「近似的理解」である
- 結果3: エポック数の増加は暗記度を単調に増大させ（10ep→200epで約2→9）、過学習が暗記の最大の駆動因であることが判明。一方、データ量・モデルサイズの影響は非単調なU字型を示した
