5. 結論

5.1 知見の要約

  1. 同一容量・同一encoder/decoder の公平比較において、Transformer は5環境すべてで最良の1-step予測精度を示した。優位は離散環境では微差（×1.2）、連続行動環境では大差（最大×2.6）と環境依存的に拡大する。
  2. 連続行動という1要素の追加だけで、RNN と VQ-VAE は階段的に劣化する。Pendulum では RNN の imagined frame が完全に崩壊し、VQ-VAE は rod を描けなくなる。これは GRU の加法的構造と VQ-VAE の離散コード分類が、連続入力と本質的に相性が悪いことを示している。
  3. Latent Diffusion は決定論的な1-step指標では常に劣るが、compounding error が時間で増えない安定性を持つ。これは確率的サンプリングの特性であり、評価指標の選び方次第でトレードオフがある。
  4. MountainCar でのスパース報酬実験により、「世界モデルは報酬ではなく遷移を学ぶ」という主張が定量的に確認された。ランダム方策・ゴール未到達という最悪条件下でも、Transformer/RNN/VQ-VAE は1-step MAE < 0.006 を達成した。
  5. PCA寄与率の解釈は離散環境と連続環境で逆転する。離散25状態の GridWorld では「低い方が高次元展開できている=良い」、連続2D状態の Pendulum/MountainCar では「高い方が低次元多様体に圧縮できている=良い」となる。

5.2 今後の課題

  1. Pendulum/Swingup での policy 学習: 本研究で学習した世界モデルを使い、SAC を model-based に動かす。Transformer 世界モデル + SAC で Dreamer 風のループを最小実装できる。
  2. VQ-VAE の codebook スケーリング: codebook=128 → 512, 1024 と増やしたとき、連続行動環境での性能がどこまで回復するかを検証する。仮説: 連続行動の解像度に対応する codebook サイズが存在する。
  3. DMControl 本物への移行: dm_control wrapper を追加し、Walker / Cheetah / Humanoid など多関節タスクで同じ比較を行う。Transformer の優位がさらに広がるかを確認する。
  4. 長尺ロールアウト評価: 50–100 step の compounding error で Diffusion の安定性が活きるかを検証する。
  5. 混合方策でのデータ収集: ランダム + ε-greedy + 学習方策の混合データで、データ分布が広がったときのモデル順位の変化を見る。

付録

A. 実行環境

  • 言語: Python 3.x
  • 主要ライブラリ: PyTorch, NumPy, Matplotlib（追加依存なし）
  • 乱数シード: 42（全モデル共通）
  • 学習設定: 50 epochs (compare) / 60 epochs (analysis), Adam (lr=1e-3), batch=64

B. 補足: なぜ4つの連続環境を選んだか

  • CartPole: 離散→連続移行の最小ステップ。状態だけ連続化し、行動は離散のまま。
  • MountainCar: スパース報酬の代表。世界モデルが報酬非依存であることを実証する場。
  • Pendulum: 連続行動の最初の壁。周期状態（角度ラップ）+ 連続トルクで多くのモデルが破綻する。
  • CartPole Swingup: DMControl 系の典型タスク。CartPole と動力学を共有しつつ行動だけ連続化することで、「行動空間の連続化」の影響を切り分ける。

この4環境は 「離散→連続状態」「離散→連続行動」「密→スパース報酬」 という3つの軸を独立に動かせるよう設計されている。

C. 用語集

用語 説明
World Model 環境の遷移 $s_{t+1} = f(s_t, a_t)$ を学習するモデル全般
Latent Dynamics Model 観測空間ではなく潜在空間 $z$ で遷移を予測する世界モデル
Compounding Error latent space を多段ロールアウトしたときに蓄積する予測誤差
Imagine 学習済み世界モデルで初期画像から行動列を入れて未来を生成すること
Codebook VQ-VAE が学習する有限個の潜在ベクトル集合
DDPM Denoising Diffusion Probabilistic Model. 拡散過程の逆過程をニューラルネットで学習する手法

本研究は、世界モデルアーキテクチャの選定における経験的指針を提供することを目指しており、すべての実装は単一マシン・追加依存なしで再現可能な最小構成で構築されている。