世界モデル vs 強化学習 — 離散タブから連続状態空間への「世界モデル優位性」の崩れ方
本研究は、「世界モデル (World Model) を持つことは強化学習 (RL) のサンプル効率を本当に改善するのか？」という問いを、同一の問題設定を離散タブ環境から連続状態空間まで段階的に拡張することで定量的に検証したものである。
具体的には、(i) 8×8 GridWorld 上で 5 種類のエージェント (Q-learning / Dyna-Q (辞書) / Neural Dyna-Q / DQN / Neural Dyna-DQN) を比較した離散結果と、(ii) CartPole / MountainCar / Pendulum の 3 つの連続タスクで対応するペア比較 (DQN vs Neural Dyna-DQN、SAC vs MBPO-Lite) を行った連続結果を、同じ 6 パネル可視化スキーマで揃えて比較した。
主要な結果
- 離散タブ環境では世界モデルが圧勝: 8×8 GridWorld において Dyna-Q (辞書) は Q-learning に対して 収束エピソード数で約 4.4 倍のサンプル効率を示した。
- 連続デンス報酬タスクでは優位性が縮む: CartPole / Pendulum では Neural Dyna-DQN / MBPO-Lite が同等以上の性能を出すものの、改善幅は 5〜10% 程度に留まった。
- 連続スパース報酬タスクでは「立場が逆転」: MountainCar では DQN が 300 エピソードで一度もゴール到達しなかった (最終報酬 −200.00 ± 0.00) のに対し、Neural Dyna-DQN は終盤から学習を立ち上げ、「解けない vs 解ける」という質的な差を生んだ。
- NN 世界モデルの 1 ステップ予測精度自体は極めて高い: Pendulum/MountainCar では予測カーブが実環境カーブと視認できないほど一致する。世界モデルの追加価値は「予測精度」よりも 「ベースラインの強さ」と「報酬の密度」 に支配されることが示された。
