考察

4. 考察

4.1 なぜ Transformer がここまで強いのか

Transformer の優位は4環境で1.2〜2.6倍と幅があるが、Pendulum でだけ2.6倍に拡大する。これは attention の構造的特性で説明できる:

• 連続行動のダイナミクスは「現在状態 × 連続トルク → 次状態」というマッピングであり、トルクの僅かな差が次状態の有限差に直結する。
• Transformer の [latent_token, action_token] 形式では、action_token 全体を1つのkey として attention で参照する。これは「離散コードのlookup」ではなく「連続値のproductによる重み付け」であり、連続入力に自然に対応する。
• 一方 GRU は隠れ状態 + 線形和で行動を取り込むため、連続トルクと現在角度の積項を表現しにくい。Pendulum の力学方程式は $\ddot\theta \propto \sin\theta + u$ という積項を含んでおり、GRU の加法的構造とは相性が悪い。

4.2 VQ-VAE が連続行動で破綻するメカニズム

VQ-VAE+Transformer は次状態を codebook=128 の cross-entropy 分類 として解く。これは離散行動環境では極めて自然な定式化（「行動 a を取ったら次のコードは i」というルックアップテーブル）だが、連続行動では問題が生じる:

• 同じ現在状態 z でも、トルク 0.1 と 0.2 と 0.3 では次状態がわずかに異なる
• ところが 128 個のコードは「次状態のクラスタ」しか持たないため、「同じ次クラスタに丸められる」現象が起きる
• 結果、imagine では平均化された無情報な画像になる ── これが pendulum frames で VQ-VAE の rod が消える理由

Genie / GameGen が離散行動環境（ゲーム）を主戦場にしているのは、VQ + Transformer が本質的にそういうアーキテクチャだから、という観察と整合する。

4.3 Latent Diffusion はなぜ常に悪いのか

Latent Diffusion は「次状態の 分布 をサンプリング」するモデルなので、決定論的な world model 比較では不利になる:

• 真の遷移は決定論的（同じ s, a なら同じ s'）だが、Diffusion は10ステップの逆過程に確率的ノイズを混ぜる
• 結果、個々の予測が真の s' から離れたサンプルになり、pixel MAE が大きくなる
• 一方で、サンプルが「正解の周辺の似た画像」であり続けるため、compounding error は時間で発散しない（MountainCar/Swingup の rollout 図参照）

つまり Diffusion は「正確な1点予測は苦手だが、状態空間から完全に外れない」という性質を持つ。これは確率的世界モデル（VAE系、SSM系）の典型的トレードオフで、本研究の決定論的指標では不利だが、実際の policy 学習では「想像上の rollout が破綻しない」ことのほうが重要なケースもある。Dreamer-v3 が Diffusion でなく確定的 latent を使っている設計選択は、このトレードオフを反映している。

4.4 「世界モデル × スパース報酬」の意義

MountainCar での結果 ── ランダム方策でゴール未到達なのに dynamics は完璧に学べる ── は、世界モデルアプローチの根本的な強みを示している:

• モデルフリー RL はスパース報酬で苦戦する（return signal が伝播しない）
• 世界モデル は遷移サンプルから forward dynamics を学ぶので、報酬が一切なくても dynamics 学習は進む
• 学習済みの世界モデルがあれば、そこから model-based planning や goal-conditioned RL で報酬の壁を回避できる

これは Dreamer 系や Plan2Explore が MountainCar 系のスパース環境で強い理由でもある。

4.5 限界と制約

1. 環境の現実性: 連続環境はすべて自前の純NumPy実装で、真の DMControl（MuJoCo 物理）とは異なる。本研究の cartpole_swingup は DMControl の同名タスクの精神を再現したものであり、定量値は直接比較できない。
2. モデル容量: 全モデル ~1.5–1.85M パラメータと小規模。Dreamer-v3 や Genie の本来のスケール（数十M〜数B）では性能順位が変わる可能性がある。
3. ランダム方策によるデータ収集: SAC/PPO などの探索方策で集めたデータでは、特に Pendulum/Swingup の状態カバレッジが大きく変わる。学習方策が混じると今回観測された RNN の崩壊が緩和されるかもしれない。
4. 評価ホライズン: compounding error は15ステップで打ち切り。Pendulum (200step)/Swingup (250step) の本来の長さでは Diffusion の安定性が逆に有利になる可能性がある。
5. 画像解像度: 64×64 は最小実用サイズで、これより高解像度（128×128 以上）では VQ-VAE の codebook 不足がより深刻になると予想される。

4.6 実用的な示唆

本研究の結果から、「これから世界モデルを実装する人」へのデフォルト推奨 は以下のようになる: