Offline 分布偏移

分布偏移 (Distribution Shift) 是离线 RL 的核心难题——价值函数与策略只能从固定数据集 $\mathcal{D}$ 中学习,但训练过程中策略会不断把 $Q$ 泛化到数据集从未覆盖的 (OOD, out-of-distribution) 状态-动作上;由于这些动作没有真实回报监督,$Q$ 只能外推,产生系统性虚高的错误估计 (外推误差, Extrapolation Error)。

无法安全在线交互、只有历史日志的领域——推荐系统、广告、自动驾驶、医疗、机器人;也是 RLHF 用离线偏好数据训练时的隐患来源。在线 RL 因环境反馈实时纠错而不存在此问题。

解释了『为什么离线 Q-Learning 必然失败』: 外推误差一旦产生,会被 Bellman 自举放大 (Bootstrapping Error Amplification)——按 $Q(s,a) \leftarrow r + \gamma \max_{a'} \hat{Q}(s',a')$ 更新时,$\max$ 算子挑选误差最大的 $a'$,错误逐轮传播、Q 值整体虚高,策略最终偏向 OOD 动作;由此催生 CQL/IQL/BCQ 等保守派离线算法。

检验攻克程度：针对「Offline 分布偏移」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。