4. 考察
4.1 「理解」の構造 — ルールごとの理解度の差異
実験結果は、研究アイデアで仮定した3パターンのうち「パターン3: 部分的理解」に最も近いことを示している：
- 移動ルール（+0.25の平行移動）: 完全に汎化。連続座標上のどの点でも正しく移動方向と移動量を予測
- 壁ルール（clip関数）: 近似的にのみ理解。不連続な勾配変化を滑らかなカーブで近似し、境界付近で系統的な誤差が残存
この差異はニューラルネットの本質的な帰納バイアスに由来する。連続な関数を近似するのは得意だが、不連続点の正確な再現は原理的に困難であり、これは活性化関数の連続性に由来する制約である。
4.2 過学習と暗記のメカニズム
実験E-3で観察された「エポック数に伴う暗記度の単調増加」は、以下のメカニズムで説明できる：
- 学習初期（〜10エポック）: 損失が大きいため、モデルはまず全体的な傾向（移動ルール）を学習する。これは「粗い理解」に対応
- 学習中期（10〜50エポック）: 損失が減少し、個々のデータ点への適合が進む。グリッド点周辺の予測が先鋭化し始める
- 学習後期（50エポック〜）: 全体的なロスは飽和しているが、最適化は続く。グリッド点での予測がさらに先鋭化し、グリッド間での誤差が相対的に増大。lookup table的な内部表現に傾斜
このプロセスは、LLMにおける事前学習の初期は汎化的知識を獲得し、後期は特定データの暗記に傾くという観察と整合的である。
4.3 ダブルディセント的非単調性の解釈
データ量とモデルサイズの実験で観察されたU字型の暗記度変化は、ダブルディセント現象（Nakkiran et al., 2021）の変種として解釈できる：
- データ不足域（500 steps / d=16）: パラメータが少なすぎる or データが少なすぎて、モデルは個々のデータ点をフィットする余裕がない。結果として滑らかな関数に正則化される。一種の「強制的汎化」
- 中間域（2000-4000 steps / d=32）: データ点を記憶するのに十分な容量があるが、汎化を促す多様性は不足。暗記と汎化の競合が最大化
- データ豊富域（8000 steps / d=64, 128）: データの多様性がlookup table的戦略を非効率にする。連続関数の学習が最適解となる
4.4 限界と制約
- 環境の単純性: 5×5 GridWorldは決定論的で低次元。確率的環境、部分観測、高次元状態空間では結果が異なる可能性がある
- 遷移関数の性質: clip関数は区分線形であり、非線形性が弱い。より複雑な遷移規則（例: 障害物の回避、物理シミュレーション）での汎化は未検証
- 暗記度指標の限界: 暗記度はグリッド点誤差がゼロに近い場合に不安定になる（ゼロ除算に近づく）。また、指標が1未満になるケース（E-1の500 steps）の解釈には注意が必要
- 単一シード: 乱数シード42のみで実験しており、結果の統計的安定性は未検証
4.5 LLM研究への示唆
本研究の結果は、LLMの「理解 vs 暗記」議論に対して以下の示唆を提供する：
- 制御可能な実験の価値: 真のルールが既知である環境で暗記度を定量化できたことで、LLMでは実施困難な検証の方法論を提示した
- 過学習の危険性: 学習を続ければ「深い理解」に至るとは限らず、ある時点から暗記に退行する可能性がある。これはLLMの学習スケジュール設計にも関わる知見
- 帰納バイアスの重要性: Sigmoid出力層が外挿ロバスト性に寄与したように、アーキテクチャ設計に暗黙の知識を埋め込むことが暗記防止に有効
- スケーリングと暗記の非自明な関係: 「大きいモデルは暗記しやすい」という直感に反し、本実験では中規模モデルが最も暗記的であった。モデルサイズと暗記傾向の関係は単純な単調関係ではない