1. 背景と問題意識
1.1 研究の背景
Transformer世界モデルは5×5 GridWorldの全100通りの状態-行動遷移を学習し、幻覚率（物理法則に反する予測の割合）が0%を達成する。しかし、この完璧な精度は「環境のルールを本質的に理解した」ことを意味するのか、それとも「100通りの入出力ペアを丸暗記した」だけなのかは区別がつかない。
この問題はLLM研究における「汎化 vs 暗記」の議論と本質的に同じ構造を持つ。LLMが学習データ中の事実を再現できることと、その背後にある論理構造を理解していることは全く異なる。しかしLLMでは「真のルール」が定義しにくいため、定量的な検証が困難である。
GridWorldは遷移関数が完全に既知であるため、この問題に対する理想的な実験台となる。
1.2 研究目的
本研究の目的は以下の点に集約される：
- 暗記度の定量化: グリッド間の連続座標を用いた補間テストにより、理解と暗記を数値的に区別する指標を提案する
- 予測関数の構造解析: モデルが内部でどのような関数を学習しているか（lookup table型 vs 滑らかな関数型）を可視化する
- 暗記を促進する条件の特定: データ量・モデルサイズ・学習エポック数の3軸で暗記度の変化を測定し、暗記の駆動因を明らかにする
1.3 関連研究との位置づけ
- Grokking現象（Power et al., 2022）: ニューラルネットがまず暗記し、学習を続けると突然汎化するという現象。本研究はその逆（学習を続けると暗記に戻る）を観察した
- Double Descent（Nakkiran et al., 2021）: モデル容量を増やすと性能がU字型に変化する現象。本研究のデータ量・モデルサイズ実験で類似の非単調性が観察された
- LLMの暗記研究（Carlini et al., 2023）: 大規模モデルのデータ暗記を検出する手法群。本研究は、制御された環境で「暗記でない」ことの直接的証拠を提示する点で補完的