3. 結果
3.1 離散 GridWorld: 世界モデルが圧勝する
表 1: 離散 GridWorld の収束エピソード数 (報酬 ≥ 0.5 への到達)
| エージェント | 収束エピソード数 (平均 ± 標準偏差) | サンプル効率比 (vs Q-learning) |
|---|---|---|
| Dyna-Q (辞書) | 2.2 ± 1 | 4.4 倍 |
| Neural Dyna-Q | 8.4 ± 3 | 1.1 倍 |
| Q-learning | 9.6 ± 4 | 1.0 倍 |
| Neural Dyna-DQN | 11.0 ± 3 | 0.87 倍 |
| DQN | 17.0 ± 5 | 0.56 倍 |
辞書型の Dyna-Q は 観測した (s,a) を完全に丸暗記できるため、世界モデル誤差がゼロであり、想像経験を通じて Q 表を「ほぼノーリスクで」更新できる。一方、NN 系のエージェント (Neural Dyna-Q, DQN, Neural Dyna-DQN) は関数近似のため初期の不安定性が大きく、辞書版の優位性ほど劇的な差を見せない。
3.2 CartPole: 連続デンス報酬では世界モデルの優位性は控えめ
表 2: CartPole の主要結果 (3 シード, 200 エピソード)
| 指標 | DQN | Neural Dyna-DQN |
|---|---|---|
| 最終 10 エピソード平均報酬 | 129.13 ± 12.48 | 139.40 ± 21.52 |
| 実環境ステップ数 (合計) | 14,841 | 15,039 |
| 想像ステップ数 | 0 | 70,200 |
| 想像 / 実 比率 | — | 4.67× |
| 報酬 ≥ 50 到達 | ep 85 | ep 74 (-11ep) |
| 報酬 ≥ 100 到達 | ep 129 | ep 113 (-16ep) |
| 報酬 ≥ 150 到達 | ep 157 | ep 159 (≈) |
世界モデル付きの Neural Dyna-DQN は 学習中盤 (報酬 ≥ 100 到達) で最も大きな差をつけるが、最終的な収束水準では数 % の差しかない。これは離散 GridWorld の Dyna-Q が見せた "4 倍" の優位性と比べると著しく小さい。
3.3 MountainCar: スパース報酬で世界モデルが「解ける/解けない」を分ける
表 3: MountainCar の主要結果 (3 シード, 300 エピソード)
| 指標 | DQN | Neural Dyna-DQN |
|---|---|---|
| 最終 10 エピソード平均報酬 | −200.00 ± 0.00 (失敗) | −185.47 ± 20.55 (一部成功) |
| 実環境ステップ数 (合計) | 59,927 | 59,741 |
| 想像ステップ数 | 0 | 293,710 |
| 報酬 ≥ −195 到達 | ep 260 | ep 283 |
| 報酬 ≥ −190 到達 | 未達 | ep 284 |
DQN は最終 10 エピソードで標準偏差 0.00 — つまり 3 シードすべてが完全に同じ −200.00 (一度もゴールに到達せず) で終了している。Neural Dyna-DQN も最初の 200 エピソードはほぼ同じだが、終盤の数十エピソードで突然学習が立ち上がる。これは離散 GridWorld の Dyna-Q が見せた 「世界モデルが探索の元を取りやすくする」効果の連続空間版である。
3.4 Pendulum: 連続行動 SAC でも改善は数 %
表 4: Pendulum の主要結果 (3 シード, 100 エピソード)
| 指標 | SAC | MBPO-Lite |
|---|---|---|
| 最終 10 エピソード平均報酬 | −219.36 ± 5.08 | −208.76 ± 6.95 |
| 実環境ステップ数 (合計) | 20,000 | 20,000 |
| 想像ステップ数 | 0 | 95,005 |
| 第 3 四分位平均報酬 (中盤) | −206.36 | −157.64 |
| 報酬 ≥ −800 到達 | ep 19 | ep 21 |
| 報酬 ≥ −400 到達 | ep 26 | ep 30 |
| 報酬 ≥ −250 到達 | ep 30 | ep 36 |
興味深いことに、早期のしきい値到達は SAC の方が早い。これは MBPO-Lite が世界モデルを学習する追加コストを早期に払う一方で、まだモデルが信頼できないため想像経験のノイズが Q 学習を阻害するためと考えられる。中盤 (q3 = 第 3 四分位) ではモデルが信頼できる精度に達し、想像経験が効くようになる: q3 平均報酬で SAC −206.36 vs MBPO-Lite −157.64 と大きく逆転する。
3.5 NN 世界モデルの 1 ステップ予測精度は極めて高い
これら 3 つの想像可視化図から明確に読み取れるのは、NN 世界モデルの 1 ステップ予測精度は CartPole の位置成分を除いてほぼ完全ということである。Pendulum と MountainCar では予測カーブと実環境カーブが視認上重なっており、MSE は事実上ゼロに近い。CartPole の状態次元 0 (カート位置) のみが時間とともにわずかにドリフトしており、これは「位置」が積分量であるため誤差が蓄積する性質を反映している。
つまり、世界モデルが連続デンス報酬タスクで大きな差を生まないのは「予測が下手だから」ではない。予測は十分に上手いが、ベースライン (DQN/SAC) も既に強いため、追加情報の限界効用が小さいのである。
3.6 結果のまとめ
- 離散 GridWorld: Dyna-Q (辞書) は Q-learning の 約 4.4 倍のサンプル効率で勝つ。
- CartPole (連続デンス): Neural Dyna-DQN は中盤で 11〜16 エピソード分早く到達するが、最終性能は +8% に留まる。
- MountainCar (連続スパース): DQN は完全に失敗 (3 シードすべて −200.00)、Neural Dyna-DQN だけが終盤に学習を立ち上げる。質的な差を生む。
- Pendulum (連続行動): 早期は SAC が早いが、中盤で MBPO-Lite が逆転し最終的に +5%。
- 想像 / 実 比率: 全タスクで 4.7 〜 4.9 倍に揃っており、「想像の量」ではなく「想像の価値」がタスクで大きく違う。
- NN モデルの予測精度: Pendulum / MountainCar でほぼ完全、CartPole の位置成分のみわずかにドリフト。