1. 背景と問題意識

1.1 研究の背景

強化学習の歴史において「世界モデル (環境の遷移と報酬を内部に持つ予測モデル)」と「モデルフリー学習 (価値関数や方策を直接学習)」は長年対比されてきた。Sutton の Dyna-Q (1990) は両者を統合した古典的アーキテクチャであり、近年の Dreamer (v1〜v3, 2020〜2023) や MuZero (2020)、MBPO (2019) はこの系譜の現代的継承者である。

これらの研究は一様に「世界モデルがあればサンプル効率が上がる」と主張する。しかし:

  • どのくらい上がるのか?
  • その上がり方はタスクの性質 (状態空間の連続性・報酬の密度・行動空間) でどう変わるのか?
  • 離散タブで観察された劇的な優位性は、連続空間でもそのまま継承されるのか?

これらの問いに対する直感的な答えを 同一の評価スキーマで段階的に観察できる教材 は、意外なほど少ない。

1.2 研究目的

本研究の目的は以下の点に集約される：

  1. 離散→連続の「物語の継続性」を検証する: 8×8 GridWorld で Dyna-Q が見せた「世界モデル圧勝」が、連続状態空間でどう変質するかを定量化する。
  2. 報酬密度の影響を切り分ける: 同じ「連続状態 + 離散行動」設定でも、デンス報酬 (CartPole) とスパース報酬 (MountainCar) で世界モデルの効果がどう変わるかを比較する。
  3. 連続行動への拡張: SAC ベースのモデルフリーと、SAC + 連続状態世界モデル (MBPO-Lite) を Pendulum で比較する。
  4. 可視化レベルでの整合性: 離散 (fig6/fig7) と連続 (fig8_/fig9_) を 同じ 6 パネル構成・同じ命名規則・同じ色スキーマ で揃えて並べ、視覚的にも比較可能にする。

1.3 関連研究との位置づけ

本研究は新規アーキテクチャの提案ではなく、既存アイデアの「効果の効きどころ」を体系的に観察する教材的研究である。各エージェントは:

  • Q-learning: Sutton & Barto の標準実装
  • Dyna-Q (辞書): Sutton 1990。観測した (s,a) → (s',r,done) を完全に丸暗記する辞書型世界モデル
  • Neural Dyna-Q / Neural Dyna-DQN: 同じ Dyna フレームを NN 世界モデル f_θ(s,a) で置き換えたもの (Dreamer の最小要素)
  • DQN: Mnih et al. 2015 の標準実装
  • SAC: Haarnoja et al. 2018 の auto-entropy 版
  • MBPO-Lite: Janner et al. 2019 (MBPO) の縮小版。SAC + 連続状態 NN 世界モデル + 短い想像ロールアウト

すべてのエージェントは Q / real_steps / imagined_steps / model / q_loss_history / model_loss_history という共通インターフェースを公開しており、可視化コードは同じ関数で処理できる。これにより「実装の差」ではなく「アルゴリズムの本質的な差」が比較される。