5. 結論

5.1 知見の要約

  1. 離散タブ環境での世界モデルの優位性 (約 4.4 倍のサンプル効率) は、連続デンス報酬タスクではほぼ消失する (CartPole +8%, Pendulum +5%)。
  2. 連続スパース報酬タスク (MountainCar) では、世界モデルが「解ける/解けない」を分ける質的な差を生む。これは離散 Dyna-Q の物語の連続版と読める。
  3. NN 世界モデルの 1 ステップ予測精度は、Pendulum / MountainCar で実用上完全である。世界モデルの効果が小さいのは「予測が下手だから」ではなく「ベースラインが既に強いから」。
  4. 「想像の量」(imagined_steps / real_steps 比率) は全タスクでほぼ同じだが、「想像の価値」はタスクで大きく違う。世界モデルの価値はモデル予測精度・ベースラインの弱さ・報酬密度の 3 つで決まる。
  5. 「世界モデルがあれば常に良い」は誤り。タスク特性に応じた選択が必要であり、特にスパース報酬タスクでこそ世界モデルの本領が発揮される。

5.2 今後の課題

  1. DMControl タスクの実施: Dreamer-Lite (encoder + 決定的 latent dynamics + reward head + decoder) を cartpole-balance や walker-walk で動かし、潜在空間世界モデルの効果を検証する。
  2. rollout_len のスイープ: 1 → 5 → 15 と増やし、誤差累積と想像経験の価値の trade-off を観察する。CartPole の位置成分のドリフトがどの長さで致命的になるかを定量化する。
  3. MountainCar の探索強化: ε-greedy ではなく Random Network Distillation (RND) や ICM などの好奇心駆動探索を組み合わせ、世界モデルが探索アルゴリズムとどう協調するかを検証する。
  4. シード数の増加: 各タスク 10 シードに増やし、CartPole / Pendulum での数 % の差が統計的に有意かを確認する。
  5. MBPO-full との比較: ensemble of dynamics models と policy-aware rollout schedule を持つ本物の MBPO と本実装の MBPO-Lite との差を切り分ける。

付録

A. 実行環境

  • 言語: Python 3.x
  • 主要ライブラリ: numpy, torch, matplotlib, gymnasium (連続版のみ)
  • デバイス: 離散実験 = CPU 固定、連続実験 = CUDA 自動検出
  • シード: 離散 5 シード、連続 3 シード

B. 補足データ — 4 分位ごとの平均報酬

各タスクの学習を 4 分位に分け、それぞれの平均報酬を比較した:

タスク エージェント q1 (前期) q2 q3 q4 (後期)
CartPole DQN 21.62 35.37 88.73 151.10
CartPole Neural Dyna-DQN 21.77 38.51 87.89 152.61
MountainCar DQN −200.00 −200.00 −200.00 −199.04
MountainCar Neural Dyna-DQN −200.00 −200.00 −200.00 −196.55
Pendulum SAC −1043.65 −213.04 −206.36 −184.15
Pendulum MBPO-Lite −1070.45 −251.94 −157.64 −181.31

注目点: Pendulum の q3 で MBPO-Lite が −157.64 と SAC の −206.36 を大きく上回るが、q4 では逆転する。これは想像経験が中盤で効くが、終盤の微調整では実経験の方が信頼できることを示唆する。

C. 用語集

用語 説明
Dyna-Q Sutton (1990) のアルゴリズム。実経験から世界モデル (s,a) → (s',r) を学習し、各実ステップ後に想像経験で Q を追加更新する
辞書世界モデル (s,a) → (s',r,done) を Python 辞書で覚えるだけの世界モデル。完全に正確だが汎化はしない
Neural Dyna-Q Dyna-Q の世界モデルを MLP で置き換えたもの。Dreamer の最小要素
Neural Dyna-DQN Neural Dyna-Q の Q 表を NN (DQN) に置き換えたもの。価値も dynamics も両方 NN という MuZero 風のミニ実装
DQN Deep Q-Network (Mnih et al. 2015)。NN で Q を近似する model-free RL
SAC Soft Actor-Critic (Haarnoja et al. 2018)。連続行動向け entropy-regularized actor-critic
MBPO Model-Based Policy Optimization (Janner et al. 2019)。SAC + 連続状態世界モデルの ensemble + 短い想像ロールアウト
MBPO-Lite 本研究での MBPO 縮小版。single-network world model + n_planning=5, rollout_len=1
想像経験 学習済み世界モデルから生成した (s, a, r, s') 遷移。実環境とのインタラクションを伴わない
サンプル効率 「同じ性能を達成するのに必要な実環境ステップ数」が少ないほど効率が良い
スパース報酬 報酬がほとんどのステップで 0 (または一定値) であり、特定のイベントでのみ非零となる設定

本研究は、離散タブから連続状態空間への "世界モデルの効きどころ" を体系的に観察するための教材的実験である。すべてのコードは単一リポジトリに収められており、共通のエージェントインターフェース・可視化スキーマ・色スキーマで設計されているため、各図の対応関係を辿って再現可能である。