世界模型学习 (World Model)

世界模型 (World Model) 用参数 $\phi$ 学习环境的转移与奖励分布 $P_\phi(s', r | s, a)$:给定状态 $s$ 与动作 $a$,预测下一状态 $s'$ 与即时奖励 $r$。训练目标为最大似然估计 (MLE): $$\max_\phi \; \mathbb{E}_{(s, a, r, s') \sim \mathcal{D}} \left[ \log P_\phi(s', r | s, a) \right]$$ 其中 $\mathcal{D}$ 为收集的真实交互数据集。学好的模型可替代真实环境生成"想象 rollout",把每条真实样本复用到多次模拟训练与规划中。

真实交互采样昂贵或危险的环境(机器人、自动驾驶、医疗);高维像素输入需潜空间建模(见 Dreamer/MuZero);与规划器结合做想象规划(见 MPC);面试常以"无模型 vs 有模型"切入考察。

无模型 RL 依赖海量真实交互,样本效率低;世界模型把环境"内化"为一阶近似,让智能体在想象中反复训练与规划,样本效率可提升约一个数量级;代价是模型误差会污染下游策略——复合误差 $O(H^2\varepsilon)$,详见 model-vs-model-free。

检验攻克程度：针对「世界模型学习 (World Model)」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。