世界モデル4アーキテクチャの比較 — 離散GridWorldから連続制御タスクへ
本研究は、画像観測ベースの世界モデル（World Model）における代表的な4アーキテクチャ ── RNN (GRU) / Transformer / Latent Diffusion / VQ-VAE+Transformer ── を、離散状態の5×5 GridWorld と 連続状態の4制御タスク (CartPole / MountainCar / Pendulum / CartPole Swingup) で統一的に比較したものである。全モデルが同一のCNN Encoder/Decoder（128次元潜在空間）を持ち、潜在空間上での遷移予測のみが異なる。これにより「観測のエンコード能力ではなく遷移モデルの差」だけを切り出して評価できる。
主要な結果
- Transformer は5環境すべてで1-step予測誤差が最小だった。優位の幅は環境の難易度と行動空間（離散/連続）に強く依存する。
- 連続行動環境（Pendulum / Swingup）では RNN と VQ-VAE が劇的に劣化する。特に Pendulum で RNN は imagined frame が真っ白に崩壊した。
- Latent Diffusion は全環境で1-step MAE が他の3モデルより5–50倍悪い。ただし compounding error は時間で増えず、最初から高止まり。
- MountainCar はスパース報酬（-1/step、ランダム方策ではほぼゴール未到達）にも関わらず、Transformer/RNN/VQ-VAE は1-step MAE < 0.006 を達成し、「世界モデルは報酬ではなく遷移を学ぶ」ことを定量的に確認した。
