5. 結論
5.1 知見の要約
- 世界モデルは環境の空間的「地図」を内部に保持している。PCA 可視化で全層にわたりグリッドのトポロジーが再現されていることを確認した（距離比 ~2.9）
- 遷移ルールは Transformer の2層で段階的に計算される。層1で行動と状態を統合し（R2: 0.81→0.998）、層2で壁処理などの精緻化を行う（R2→0.999）
- 壁・方向・ゴール距離に機能特化したニューロンが存在し、因果的に予測に寄与している。特にニューロン#37（上壁特化）は除去により予測精度が56倍悪化する
- 情報フローは状態情報が支配的であり（action の22倍）、行動は方向の微調整として機能している
5.2 今後の課題
- 学習過程の動的分析: 学習初期から完了までの内部表現の変化を追跡し、「いつ地図が形成されるか」「遷移ルールの獲得順序」を解明する（Nanda et al., 2023 の手法を適用）
- より複雑な環境での検証: 障害物付きグリッド、確率的遷移、連続状態空間など、複雑性を段階的に増加させた環境で同様の内部構造が維持されるかを検証する
- Superposition の閾値: d_model を段階的に縮小し、特徴数 > 次元数の条件下で Superposition が生じるか、またその場合の予測精度への影響を調査する
- 複数シードでの再現性: 異なる初期化で同じ機能特化パターン（同じニューロン番号ではなく、同じ「役割」）が再現されるかを系統的に検証する
付録
A. 実行環境
- 言語: Python 3.x
- 主要ライブラリ: PyTorch (CUDA), NumPy, Matplotlib
B. 用語集
| 用語 | 説明 |
|---|---|
| Mechanistic Interpretability | モデルの内部メカニズムを解明する解釈可能性研究の手法群 |
| Linear Probing | 中間表現から線形モデルで特定の情報を読み出す手法 |
| Causal Intervention | ニューロンの値を人工的に変更し、予測への因果的影響を測定する手法 |
| Activation Patching | 特定の入力に対する活性値を別の入力のもので置換し、情報フローを解析する手法 |
| Superposition | モデルの次元数より多くの特徴を重畳して表現する現象 |
| モノセマンティック | 一つのニューロンが一つの概念に対応する表現形式 |
| 壁反射（Wall Bounce） | 壁に向かって移動しようとした際に位置が変化しない現象 |
本研究の全分析は単一の Python スクリプトで完全に再現可能であり、ランダムシード固定により決定的な結果を保証する。