1. 背景と問題意識

1.1 研究の背景

世界モデルは、エージェントが「環境のシミュレータ」を内部に持ち、それを使って未来を予測・計画する枠組みである。Ha & Schmidhuber の "World Models" (2018) 以降、潜在空間上での遷移予測（latent dynamics model）は主流アプローチとなり、Dreamer 系（v1〜v3）、Genie、GameGen など、多様なアーキテクチャが提案されてきた。しかしこれらの手法は タスク・スケール・実装が異なり、純粋なアーキテクチャの比較は困難 だった。

具体的には次のような問いに答える材料が乏しい:

  • 同じ観測・同じ容量で比較したとき、どのアーキテクチャが最も正確に未来を予測するか？
  • 離散状態環境（GridWorld）での結論は、連続状態の制御タスクでも成立するか？
  • 連続な「行動」が混じったときに各モデルはどう振る舞うか？

1.2 研究目的

本研究の目的は以下の点に集約される：

  1. 統一フレームワークでの公平比較: 4つの代表的世界モデル（RNN, Transformer, Diffusion, VQ-VAE+Trans）を、同一の CNN Encoder/Decoder・同一の潜在次元・同一のデータで比較する。
  2. 離散→連続への難易度勾配の構築: 5×5 GridWorld → CartPole → MountainCar → Pendulum → CartPole Swingup と段階的に複雑化させ、どのアーキテクチャがどこで破綻するかを観察する。
  3. 「世界モデル ≠ 報酬学習」の体感: スパース報酬環境（MountainCar）において、報酬信号がなくても dynamics 学習は成立することを実験的に示す。

1.3 関連研究との位置づけ

本研究は モデル比較を目的とした最小限の実装 であり、各アーキテクチャの完全再現（Dreamer-v3 や Genie など）ではない。代わりに、全モデルで以下を共通化 することで、純粋にアーキテクチャ差だけを抽出する:

  • CNN Encoder/Decoder: 3→32→64→128→128 (stride=2) → 128次元潜在空間
  • 再構成ロス: 全モデルが encoder/decoder を pixel MSE で同時学習
  • データ収集方策: ランダム方策（モデル間の方策バイアスを排除）
  • 学習設定: 50 epochs, batch=64, Adam (lr=1e-3), seed=42

これにより「encoder の表現力」「方策の質」「最適化の運不運」といった交絡要因を排除している。