4. 考察

4.1 世界モデルは環境の「地図」を持つか

PCA 可視化と Linear Probing の結果は、世界モデルが単なる入出力マッピングではなく、環境の空間構造を内部に再現した「地図」を保持していることを強く示唆する。

特に注目すべきは、入力段階ですでに空間構造が保存されている（距離比 2.91）という点である。これは state_encoder（Linear層）が座標情報を忠実に保持しており、Transformer 層がこの「地図」の上で遷移関数を計算するという階層的な処理構造を示している。

Othello-GPT（Li et al., 2023）がボードの空間表現を自発的に獲得したのと同様に、本モデルもグリッドの空間構造を内部に再現している。ただし本モデルは次の点で異なる：状態が明示的な座標として与えられるため、空間構造の獲得は Othello-GPT ほど「驚くべき」ものではない。むしろ重要なのは、その空間構造の上に遷移ルール（壁の反射、方向による移動）が正しく計算されていることである。

4.2 Transformer の計算メカニズム

分析結果を統合すると、以下の計算メカニズムが推定される：

層1の役割 — 行動と状態の統合: - Attention パターン: Action→State の attention が強い（0.69~0.85） - 行動情報を状態トークンに統合し、「この状態でこの行動をとると何が起きるか」の混合表現を構築 - Linear Probing: 次状態 R2 が 0.81→0.998 に急上昇。遷移計算の主要部分がここで実行される

層2の役割 — 精緻化と壁処理: - ヘッドごとの役割分化が明確（Head 1: 自己参照、Head 2: 行動読み取り） - 壁際での微調整（壁反射の正確な処理） - Linear Probing: R2 が 0.998→0.999 に微増。精度の最終調整を担当

4.3 ニューロンの機能特化と分散表現

本研究で同定された機能特化ニューロンは、Toy Models of Superposition（Elhage et al., 2022）で議論された「特徴のモノセマンティック表現」に近い性質を示している。

特に興味深いのは、4つの壁それぞれに異なるニューロンが対応している（上壁=#37、下壁=#2、左壁=#1、右壁=#56）点である。d_model=64 のモデルに対して入力空間の特徴（4壁+4方向+距離）は10程度であり、Superposition なしに個別ニューロンが各特徴を担当できる余裕がある。これは Elhage et al. が予測した「特徴数 < 次元数の場合はモノセマンティック表現が優勢になる」という仮説と整合的である。

一方、因果的介入の結果は、最重要ニューロン1つの除去で MSE が 56倍悪化するものの、それでもモデルは完全には壊れないことを示している。これは情報が完全にモノセマンティックではなく、部分的な分散表現（一つの概念が複数のニューロンに跨って表現される）が併存していることを示唆する。

4.4 Activation Patching が明かす情報フロー

state token シャッフルが action token シャッフルの22倍の影響を持つという結果は、層間の情報フローにおいて状態情報が圧倒的に支配的であることを示す。

これは直感的に理解できる：次状態予測において「現在どこにいるか」が「何をするか」よりもはるかに情報量が多い（25状態 vs 4行動）。action token は方向の微調整を加えるだけであり、基本的な座標情報は state token を通じて伝達される。

4.5 限界と制約

  1. 環境の単純さ: 5x5 GridWorld は極めて単純な環境であり、結果がより複雑な環境（連続状態空間、確率的遷移、部分観測）に一般化するかは不明
  2. モデルサイズ: d_model=64, 2層のモデルは LLM のスケールとは桁違いに小さく、Superposition やPolysemanticity が生じる規模では異なる結果になりうる
  3. 単一のシード: 学習のランダムシードが固定されており、異なる初期化で同じ機能特化パターンが再現されるかは未検証
  4. 線形プローブの限界: Linear Probing は線形に読み出せる情報のみを検出する。非線形な表現構造は検出できていない可能性がある

4.6 大規模モデルへの示唆

本研究の結果は、より大規模な世界モデルの解釈可能性研究に対して以下の示唆を与える：

  • 空間構造の自発的獲得は小規模でも堅牢に生じる: 環境に空間構造があれば、モデルはそれを内部に再現する傾向がある
  • 遷移計算は層ごとに段階的に行われる: これは深い Transformer でも同様の階層的計算が期待される
  • 機能特化は特徴数 < 次元数の条件下で明確に生じる: 大規模モデルでは Superposition により解釈が困難になる可能性がある