世界模型学习 (World Model)

世界模型 (World Model) 用参数 $\phi$ 学习环境的转移与奖励分布 $P_\phi(s', r | s, a)$:给定状态 $s$ 与动作 $a$,预测下一状态 $s'$ 与即时奖励 $r$。训练目标为最大似然估计 (MLE): $$\max_\phi \; \mathbb{E}_{(s, a, r, s') \sim \mathcal{D}} \left[ \log P_\phi(s', r | s, a) \right]$$ 其中 $\mathcal{D}$ 为收集的真实交互数据集。学好的模型可替代真实环境生成"想象 rollout",把每条真实样本复用到多次模拟训练与规划中。

真实交互采样昂贵或危险的环境(机器人、自动驾驶、医疗);高维像素输入需潜空间建模(见 Dreamer/MuZero);与规划器结合做想象规划(见 MPC);面试常以"无模型 vs 有模型"切入考察。

无模型 RL 依赖海量真实交互,样本效率低;世界模型把环境"内化"为一阶近似,让智能体在想象中反复训练与规划,样本效率可提升约一个数量级;代价是模型误差会污染下游策略——复合误差 $O(H^2\varepsilon)$,详见 model-vs-model-free。

世界模型学习的目标函数是什么?写出 MLE 训练目标及各项含义。

世界模型为什么能提升样本效率?想象 rollout 与真实交互的差异?

模型误差如何影响下游策略?什么是复合误差 O(H²ε)?

显式(像素/状态级)与隐式(潜空间)世界模型的区别?各举一例。

除了经典 RL,世界模型在 LLM/Agent 场景有哪些新应用?