3. 結果
3.1 離散ベースライン: 5×5 GridWorld
まず比較の基準として、離散状態 GridWorld 上での結果を示す。
表1: GridWorldでの主要指標
| Model | 1-step MAE | Final Compounding | 学習時間 |
|---|---|---|---|
| RNN (GRU) | 0.0043 | ~0.07 | 30s |
| Transformer | 0.0035 | ~0.02 | 37s |
| Diffusion | 0.2027 | ~0.20 | 35s |
| VQ-VAE+Trans | 0.0136 | ~0.02 | 45s |
GridWorld では RNN/Transformer/VQ-VAE がほぼ同等に成功しており、Diffusion のみが完全に失敗している。
注目すべきは VQ-VAE が 1-step MAE では良好（0.0136）なのに計画成功率は 0% という乖離である。これは「reference image matching での計画判定」が、VQ-VAE 量子化由来のわずかな色ズレに過敏に反応するためで、純粋なモデル性能というよりは評価指標の特性だと解釈できる。
Diffusion の予測フレーム（4行目）が agent の位置を完全に見失っているのが視覚的にわかる。
3.2 連続状態への移行 (1): CartPole
表2: CartPole での主要指標
| Model | 1-step MAE | 学習時間 |
|---|---|---|
| RNN (GRU) | 0.0232 | 30s |
| Transformer | 0.0062 | 33s |
| Diffusion | 0.0975 | 38s |
| VQ-VAE+Trans | 0.0123 | 76s |
GridWorld では RNN とほぼ同等だった Transformer が、CartPole では RNN を 3.7倍引き離す。これは「連続状態」という1段階の難易度上昇だけで、アーキテクチャ間の差が顕在化することを示す。
PCA 寄与率を見ると、CartPole の連続状態（4次元）が Transformer/VQ-VAE では88–100%と綺麗に低次元化されている。これは GridWorld（離散25状態を高次元に展開する必要があった）とは逆の現象で、「PCA寄与率が高いほうが良い」が連続環境での解釈になる。
Transformer（3行目）だけが t=8 まで cart と pole の形状を保持している。RNN（2行目）は t=4 以降で cart 位置がブレ、Diffusion（4行目)はブラー化、VQ-VAE（5行目）は pole の細部を失う。
3.3 スパース報酬: MountainCar
表3: MountainCar での主要指標
| Model | 1-step MAE | 注 |
|---|---|---|
| RNN (GRU) | 0.0058 | |
| Transformer | 0.0034 | |
| Diffusion | 0.1956 | PCA崩壊 |
| VQ-VAE+Trans | 0.0051 |
ランダム方策ではゴール（pos≥0.5）にほぼ到達しないにもかかわらず、Diffusion を除く3モデルすべてが極小の1-step MAE を達成している。これは本研究で最も実証したかった主張 ── 「世界モデルは報酬を学ばない、遷移を学ぶ」 ── の直接的な証拠である。
Diffusion の PCA 寄与率が 0%（潜在空間が1点に潰れている） という現象が起きている。これは encoder が学習に失敗し、すべての画像を同じ点にマップしている状態で、データ量や報酬の問題ではなくモデル構造由来の失敗だと特定できる。
MountainCar は視覚変化がそもそも小さい（車が小さく動くだけ）ため、frames での違いは控えめだが、Diffusion 行（4行目）だけが地形すら描けていない。
3.4 連続行動の壁: Pendulum
表4: Pendulum での主要指標
| Model | 1-step MAE | 倍率 (vs Trans) |
|---|---|---|
| RNN (GRU) | 0.0677 | ×2.58 |
| Transformer | 0.0262 | ×1.00 |
| Diffusion | 0.0751 | ×2.86 |
| VQ-VAE+Trans | 0.0689 | ×2.63 |
Pendulum は本研究で 最も難しい環境であり、Transformer 以外のすべてのモデルが MAE > 0.06 まで悪化する。CartPole/MountainCar では微差だった Transformer の優位が、ここでは2.5倍以上に拡大する。
PCA 寄与率: Transformer 98% / Diffusion 94% / VQ-VAE 88% / RNN 65%。RNN だけが構造化された潜在空間を作れていない。
ここが本研究で 最も衝撃的な視覚証拠 である:
- RNN（2行目）: t=1 以降が完全に白。pendulum が消失した。
- Transformer（3行目）: 形状こそ薄いが、円形の軌跡が見える。
- Diffusion（4行目）: 中央のブラー（確率分布の名残）。
- VQ-VAE（5行目）: 中央の点だけが残り、rod (赤い棒) が消失。
連続行動 + 周期状態（角度ラップ）+ 高速ダイナミクスの3条件が揃うと、attention 以外のアーキテクチャが持たないことを示唆する。
3.5 DMControl的タスク: CartPole Swingup
表5: CartPole Swingup での主要指標
| Model | 1-step MAE |
|---|---|
| RNN (GRU) | 0.0130 |
| Transformer | 0.0102 |
| Diffusion | 0.1243 |
| VQ-VAE+Trans | 0.0313 |
VQ-VAE が CartPole（離散行動）の 0.0123 から Swingup（連続行動）の 0.0313 に2.5倍悪化している。動力学はほぼ同じ（同じカートポール）なのに、行動が連続化しただけで性能が大きく落ちる。
VQ-VAE の予測（5行目）は cart の位置がぼやけ、pole は完全に消える。RNN（2行目）も pole が薄くなる。Transformer（3行目）だけが cart と pole の両方を t=8 まで保持している。
3.6 結果のまとめ：5環境横断の1-step Pixel MAE
表6: 全5環境での1-step Pixel MAE一覧（小さいほど良い、太字は各環境の最良）
| Model | GridWorld | CartPole | MountainCar | Pendulum | Swingup |
|---|---|---|---|---|---|
| RNN (GRU) | 0.0043 | 0.0232 | 0.0058 | 0.0677 | 0.0130 |
| Transformer | 0.0035 | 0.0062 | 0.0034 | 0.0262 | 0.0102 |
| Diffusion | 0.2027 | 0.0975 | 0.1956 | 0.0751 | 0.1243 |
| VQ-VAE+Trans | 0.0136 | 0.0123 | 0.0051 | 0.0689 | 0.0313 |
主要知見:
- Transformer は5環境すべてで最良であり、唯一すべての設定で安定動作する。
- 連続行動を含む2環境（Pendulum, Swingup）で RNN/VQ-VAE が階段状に劣化する。CartPole（離散行動・連続状態）では持つが、Swingup（同じ動力学・連続行動）で崩れる。
- Diffusion は全環境で1-step MAE が一桁悪いが、compounding error はむしろ時間で増えない（最初から高止まり）。
- MountainCar での性能は3モデル並列で、スパース報酬が世界モデル学習を阻害しないことを確認した。