PPO 截断损失

PPO (Proximal Policy Optimization, 近端策略优化) 用截断的概率比约束策略更新幅度。定义概率比$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$,截断目标为$L^{CLIP}(\theta) = \mathbb{E}_t[\min(r_t(\theta) \hat{A}_t,\; \operatorname{clip}(r_t(\theta), 1-\varepsilon, 1+\varepsilon) \hat{A}_t)]$,常用 $\varepsilon = 0.2$:Advantage 为正时 $r$ 至多取 $1.2$,为负时至少取 $0.8$(截断方向相反),如 $r=2$ 被按 $1.2$ 截断,防止策略单步突跳。

RLHF 第三阶段的策略优化(与 KL 惩罚、GAE 一起使用);也是 OpenAI 默认的通用 RL 算法,适用于连续与离散动作空间的大规模分布式训练。

传统策略梯度 (REINFORCE) 对步长极其敏感,一步更新过大策略立即崩溃;TRPO 用约束保证单调改进但需解二阶优化,工程复杂。PPO 用 clip 近似约束,一阶优化即可稳定训练,简单而可靠。

写出 PPO 截断目标函数并解释 clip 的作用?为什么 ε 取 0.2?

Advantage 为正和为负时,截断分别如何生效?r=2 时会发生什么?

概率比 r_t(θ) 的含义?重要性采样在其中扮演什么角色?

PPO 与 TRPO 的关系?为什么实践中 PPO 更常用?

RLHF 中 PPO 的奖励如何构造?GAE 和 KL 惩罚的作用?