Dreamer RSSM 潜想象

Dreamer 用 RSSM (Recurrent State-Space Model, 循环状态空间模型) 从像素观测学习世界模型,再在潜想象中训练策略。RSSM 的潜状态分两条路径: ① 确定性路径: $h_t = f(h_{t-1}, z_{t-1}, a_{t-1})$——循环网络整合历史信息;② 随机路径: $z_t \sim q(z_t | h_t, o_t)$——编码当前观测的随机潜变量; 重建头: $\hat{o}_t = o(h_t, z_t)$(重建观测)、$\hat{r}_t = r(h_t, z_t)$(预测奖励)。

潜想象训练策略: 两阶段——先只用真实序列训练世界模型(重建观测 + 预测奖励 + KL 正则,使 $q$ 贴近先验);然后冻结模型"做梦":从当前潜状态出发,用当前策略在潜空间展开 rollout,得到纯想象的轨迹序列,再用 actor-critic 在这条想象轨迹上最大化折扣回报。策略与价值头只在潜空间训练,不接触真实环境。

像素级控制(DMC、Atari)、机器人学习;Dreamer V1/V2/V3 是 Model-Based 像素控制 SOTA 系列;面试关注"潜空间做梦"如何省样本。

像素级无模型 RL 样本效率极低;RSSM 的确定+随机混合设计同时捕捉时序依赖与观测不确定性,使长程想象 rollout 保持稳定(纯随机模型在想象中发散),样本效率比无模型 SOTA 高约一个数量级。

检验攻克程度：针对「Dreamer RSSM 潜想象」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。