考察

4. 考察

4.1 なぜ「離散 → 連続」で世界モデルの優位性が縮むのか?

離散 GridWorld と連続デンス報酬タスクを並べると、世界モデルの優位性は 約 4.4 倍 → 約 1.05 倍 にまで縮む。これには 3 つの理由が考えられる:

1. モデル誤差ゼロの恩恵が消える: 辞書世界モデルは観測した (s,a) を完全に暗記する。連続空間では NN 近似が必須であり、たとえ予測精度が極めて高くても完全ではない。多ステップ展開では誤差が累積する (CartPole の位置成分のドリフトが典型例)。

2. ベースラインの強さの非対称性: 離散 GridWorld の Q-learning は表 (テーブル) であり、汎化機構を持たない。一方、連続版の DQN / SAC は NN による関数近似で既に強い汎化能力を備えている。「世界モデルの汎化」と「価値関数の汎化」が部分的に冗長になり、世界モデルの追加情報量が減る。

3. 状態空間の暗記可能性: 8×8 GridWorld は状態数が 64 のみで、辞書で全状態を暗記する価値が極めて高い。連続空間では暗記すべき状態は無限であり、外挿能力こそが本質となる。

4.2 スパース報酬の特殊性 — MountainCar の質的逆転

MountainCar は本研究で唯一、世界モデルが「定量的な改善 (+X%)」ではなく「質的な解決 (失敗 → 成功)」を生んだ環境である。これは離散 GridWorld の Dyna-Q が示した物語の 連続スパース報酬版と読める:

• DQN は探索でゴールに到達できない → 報酬信号がほぼ常に −1 → Q 学習が機能しない
• Neural Dyna-DQN も同じ条件下にあるが、世界モデルを使った想像ロールアウトが遷移と報酬の構造を内部に蓄積する。たまたまゴール近傍に来た時の信号が想像経験を通じて多くの状態に反実仮想的に伝播する。

この観察は理論的にも示唆的である: 世界モデルの本質的な価値は「想像で実環境を肩代わりする」ことではなく、「報酬信号を時空間方向に伝播させるブートストラップ機構を提供する」ことにあるのかもしれない。デンス報酬タスクでは TD 学習自体が既に十分なブートストラップを提供しているため、世界モデルの付加価値は小さい。スパース報酬タスクではこのブートストラップが致命的に不足しているため、世界モデルが質的な差を生む。

4.3 想像経験の「量」vs「質」

全タスクで想像経験量 (imagined_steps / real_steps) は 4.7 〜 4.9 倍 に揃っている。これは n_planning = 5 のデフォルト値が一定であるためだ。にもかかわらず、世界モデルの効果はタスクで大きく違う:

「想像の量」ではなく「想像の価値」が決定的であり、想像の価値は (a) モデル予測精度、(b) ベースラインの弱さ、(c) 報酬密度 の 3 つで決まると考えられる。

4.4 想像の意味の質的な変化 — 軌道画から時系列予測へ

離散 GridWorld の fig7_muzero_imagination.png (図 2) と連続版の fig9_*_imagination.png (図 6〜8) を並べると、「世界モデルが頭の中で何をしているか」の可視化スタイルが質的に変わることが分かる:

これは 「世界モデルが想像する世界」自体の幾何学が離散と連続で根本的に違う ことの反映である。離散世界モデルは「次にどこに行くか」を答える離散的予測機械、連続世界モデルは「次の瞬間どう動くか」を答える微分方程式的予測機械として振る舞う。

4.5 限界と制約

1. シード数が少ない: 連続実験は 3 シードのみ。CartPole / Pendulum で観察した数 % の差は統計的には微妙であり、より多くのシードでの確認が必要。
2. rollout_len = 1 という保守的設定: 想像ロールアウトを 1 ステップに留めているため、世界モデルの「予測の伸び」を活用しきれていない。MBPO 本来の設定 (5〜15 ステップ) では更なる改善が期待できる。
3. MountainCar の探索戦略: ε-greedy + デフォルトのデケイでは探索がゴールに届きにくい。epsilon_decay を緩めるか、好奇心駆動探索 (curiosity-driven exploration) などとの組み合わせが本質的かもしれない。
4. DMControl タスクが未実施: 計画していた Dreamer 風潜在空間世界モデルでの比較 (dmcontrol タスク) は依存ライブラリの都合で未実行。これにより「潜在表現がデンス報酬連続行動タスクで世界モデルの優位性を回復させるか」の検証は今後の課題。
5. MBPO-Lite と本物の MBPO の差: 本実験では single-network world model + n_planning=5 という縮小版である。本来の MBPO は ensemble of 7 networks を使い、ロールアウトもタスクに応じてスケジューリングされる。

4.6 教育的・実用的示唆

本研究の最大の示唆は 「世界モデルを使うべきかどうかの判断基準」 にある:

• 解きたいタスクの報酬がスパースか? → YES なら世界モデル必須
• 状態空間が小さく構造が分かっているか? → YES なら辞書型 (Dyna-Q) が破壊的に強い
• デンス報酬で連続状態か? → モデルフリー (DQN/SAC) で十分なケースが多い。世界モデルの追加コストに見合うかは慎重な検討が必要
• 計算予算が限られているか? → 同じ実環境ステップで余分な勾配計算を払う価値があるか、ベースラインで先に試すべき

これは Dreamer や MBPO のような世界モデル系手法が「常に最良」ではなく、「タスクに合っているか」が選択の決め手であることを示している。