CQL 保守 Q 学习

保守 Q 学习 (Conservative Q-Learning, CQL) 是离线 RL 的 SOTA 基线之一,在标准 Bellman 更新上叠加保守正则项,系统性压低 OOD 动作的 Q 估计: $\min_Q \alpha \left( \mathbb{E}_{a \sim \pi_\beta} \left[ \log \sum_{a'} \exp Q(s,a') \right] - \mathbb{E}_{(s,a) \sim \mathcal{D}}[Q(s,a)] \right) + \text{Bellman}$——第一项 (log-sum-exp) 抬高所有动作的 Q (soft-max 近似 $\max_{a'}$),第二项只抬高数据内 $(s,a)$ 的 Q;两项相减后,数据外动作被系统压低、数据内动作保持真实。

无法在线交互的离线决策——推荐/广告历史日志、安全敏感的机器人/自动驾驶控制;也常作为 offline-to-online 微调的初始化。

提供可证明的保守性: CQL 学到的 $\hat{Q}^\pi$ 是真实 $Q^\pi$ 的下界 (处处满足 $\hat{Q}^\pi(s,a) \le Q^\pi(s,a)$)——正则项在每个状态注入保守偏移,Bellman 迭代使下界性质得以保持,策略优化因此不会因 Q 虚高去采 OOD 动作,从价值层面掐断外推误差。

检验攻克程度：针对「CQL 保守 Q 学习」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。