蒙特卡洛 vs 时序差分

蒙特卡洛 (MC) 用整条回合的实际回报更新, 回报定义为折扣累计奖励 $G_t = \sum_{k=0}^{T-t-1} \gamma^k r_{t+k+1}$, 其中 $T$ 是回合终止时刻, $r_{t+k+1}$ 是 $t$ 之后第 $k+1$ 步的奖励, $\gamma^k$ 是折现;更新规则 $V(s_t) \leftarrow V(s_t) + \alpha\left[ G_t - V(s_t) \right]$。由于 $G_t$ 是 $v_\pi(s_t)$ 的无偏样本估计 (只依赖真实采样, 不依赖当前估计), MC 无偏;但它是 $T-t$ 个随机奖励的累加和, 方差随回合长度和 $\gamma$ 增大, 且必须等回合结束后才能学习, 只适用于回合制任务。

时序差分 (TD) 用单步转移 + 当前估计自举 (bootstrap), 目标为 $r_{t+1} + \gamma V(s_{t+1})$——用 $t+1$ 步的真实奖励 $r_{t+1}$ 加上对自己当前估计 $V(s_{t+1})$ 的折现;更新规则 $V(s_t) \leftarrow V(s_t) + \alpha\left[ r_{t+1} + \gamma V(s_{t+1}) - V(s_t) \right]$, 括号内即 TD 误差。因为目标里含估计值, TD 有偏 (偏置朝当前估计方向), 但只依赖少量随机量、方差低, 每步都可学习, 也适用于持续性任务。MC 相当于 TD 误差跨整条轨迹累加 ($\lambda = 1$), DP 是 $\lambda = 0$ 的完全自举——TD 是两者的中间体;表格型任务中 TD(0) 在收敛条件下最终收敛到真实 $v_\pi$。

无模型 (不已知 $P, R$) 的在线学习——Q-learning/DQN/Actor-Critic 全部基于 TD 误差;MC 用于诊断性对比和回合式任务 (如每局才更新的棋盘评估)。面试高频考点是偏差-方差权衡。

无模型环境无法用 DP 直接迭代, MC 又因高方差、延迟更新而不实用;TD 用自举把单步误差作为学习信号, 在偏差 (来自估计) 与方差 (来自随机性) 之间取折中, 兼顾样本效率、在线性与稳定性, 成为主流学习范式。

检验攻克程度：针对「蒙特卡洛 vs 时序差分」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。