Offline 分布偏移

分布偏移 (Distribution Shift) 是离线 RL 的核心难题——价值函数与策略只能从固定数据集 $\mathcal{D}$ 中学习,但训练过程中策略会不断把 $Q$ 泛化到数据集从未覆盖的 (OOD, out-of-distribution) 状态-动作上;由于这些动作没有真实回报监督,$Q$ 只能外推,产生系统性虚高的错误估计 (外推误差, Extrapolation Error)。

无法安全在线交互、只有历史日志的领域——推荐系统、广告、自动驾驶、医疗、机器人;也是 RLHF 用离线偏好数据训练时的隐患来源。在线 RL 因环境反馈实时纠错而不存在此问题。

解释了『为什么离线 Q-Learning 必然失败』: 外推误差一旦产生,会被 Bellman 自举放大 (Bootstrapping Error Amplification)——按 $Q(s,a) \leftarrow r + \gamma \max_{a'} \hat{Q}(s',a')$ 更新时,$\max$ 算子挑选误差最大的 $a'$,错误逐轮传播、Q 值整体虚高,策略最终偏向 OOD 动作;由此催生 CQL/IQL/BCQ 等保守派离线算法。

外推误差 (Extrapolation Error) 的产生机制是什么?为什么 Q 对 OOD 动作的估计会系统性虚高?

Bellman 自举如何放大外推误差?写出 $Q(s,a)=r+\gamma \max_{a'} \hat{Q}(s',a')$ 的误差传播链,解释 max 算子的放大作用。

Offline 分布偏移与在线 DQN 的 overestimation 问题有何区别与联系?

为什么说离线 RL 的策略必须『待在数据分布内』?列出三类缓解思路并各举一例算法 (策略约束 / 保守 Q / 数据生成)。

给定覆盖度差的固定数据集,如何从 Q 值诊断外推误差?哪个训练指标能预警策略崩溃?