結果

3. 結果

3.1 実験A: 補間テスト — エラーの空間分布

4行動すべてにおいて、誤差にはランダムではない構造的パターンが観察された。主な特徴：

• グリッド内部（0.25〜0.75付近）: 全行動で誤差が小さい。移動の基本ルール（+0.25の平行移動）は正しく汎化されている
• 境界付近（y, x ≈ 0 または 1）: 誤差が集中。壁でのクリッピング（clip関数の不連続な勾配変化）が予測困難の主因
• 行動による差異: Up/Leftでやや誤差が大きい傾向。これはランダム探索方針による学習データの偏りを反映している可能性がある

重要な観察: エラーの空間分布は「グリッド点で低く、間で高い」という暗記パターンではなく、「境界で高く、内部で低い」という物理的構造に対応している。これは暗記ではなくルール学習の不完全さを示唆する。

3.2 実験B: 暗記指標 — 定量的判定

表1: 行動別暗記度

全行動で暗記度は1.0〜1.2の範囲にあり、閾値2.0を大きく下回る。グリッド点の誤差とグリッド間の誤差がほぼ同等であり、モデルはlookup tableではなく連続的な遷移関数を学習したと結論できる。

3.3 実験C: 滑らかさ分析 — 予測関数の内部構造

この実験から2つの重要な発見が得られた。

発見1: ニューラルネットによる区分線形関数の「滑らか近似」

真の遷移関数は区分線形関数（例: next_x = min(x + 0.25, 1.0)）であり、x = 0.75で勾配が1から0に不連続に変化する。モデルはこの不連続点を滑らかなシグモイド的カーブで近似している。

• 左図（予測値）: 全体的に真の値に沿っているが、x ≈ 0.75付近で真の関数のシャープな折れ曲がりが緩やかな曲線に平滑化されている
• 右図（勾配）: 真の勾配はx = 0.75でステップ関数的に1→0に変化するが、モデルの勾配はx = 0.5付近から漸減し始め、滑らかに0に遷移する

発見2: 境界手前での勾配オーバーシュート

勾配プロットにおいて、x ≈ 0.5〜0.7でモデルの勾配が真の値1.0を超えてピークを形成している。これはニューラルネットが不連続関数を近似する際に典型的に発生するアーティファクトであり、フーリエ解析におけるギブス現象（Gibbs phenomenon）と類似した振る舞いである。

この結果は、モデルが「理解はしているが、ニューラルネットの表現力の制約により完全な再現ができない」状態にあることを示している。

3.4 実験D: 外挿テスト

• x > 1.0（右側OOD）: 予測は≈1.0に飽和し、真値と一致。Sigmoid活性化関数が出力を[0, 1]に制約するため、結果的にクリッピングルールと同じ効果を発揮
• x < 0.0（左側OOD）: 予測は≈0.2に収束。真値（clip(0 + 0.25, 0, 1) = 0.25）にかなり近いが完全ではない
• Sigmoidのアーキテクチャ的バイアスの効果: 出力層のSigmoidが外挿時の暴走を防止している。これはアーキテクチャ設計が暗黙の知識（状態は常に[0, 1]）を埋め込む一例であり、帰納バイアスの重要性を示す

3.5 実験E: 条件比較 — 暗記を促進する因子の探索

E-1: データ量 vs 暗記度 — 非単調なU字カーブ

データが極端に少ない（500 steps）場合、暗記度は1.0を下回る。これはモデルが暗記する余地がなく、正則化効果により滑らかな関数への帰着が強制されるためと考えられる。中間のデータ量（4000 steps）で暗記度がピークに達し、十分なデータ（8000 steps）で再び低下する。

E-2: モデルサイズ vs 暗記度 — 中規模モデルが最も暗記的

tiny（d=16）は暗記する容量が不足しており汎化を強制される。small（d=32）で暗記度が最大化され、base以上では容量に余裕があるため滑らかな関数表現が可能になり暗記度が低下する。

E-3: エポック数 vs 暗記度 — 明確な単調増加

3条件の中で最も明確な傾向を示した。エポック数の増加に伴い暗記度がほぼ単調に増加し、200エポックでは約9に達する。過学習が暗記を直接的に駆動する最大の因子であることを示す決定的な証拠である。

3.6 結果のまとめ

1. ベースモデル（d=64, 8000 steps, 50 epochs）は環境のルールを概ね「理解」しており、暗記ではない（暗記度 ≈ 1.1）
2. 予測関数は滑らかだが、壁クリッピングの不連続点でギブス現象類似のアーティファクトが発生する
3. 過学習（エポック数）が暗記の最大の駆動因。データ量・モデルサイズは非単調な影響を持つ