PPO 截断损失

PPO (Proximal Policy Optimization, 近端策略优化) 用截断的概率比约束策略更新幅度。定义概率比$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$,截断目标为$L^{CLIP}(\theta) = \mathbb{E}_t[\min(r_t(\theta) \hat{A}_t,\; \operatorname{clip}(r_t(\theta), 1-\varepsilon, 1+\varepsilon) \hat{A}_t)]$,常用 $\varepsilon = 0.2$:Advantage 为正时 $r$ 至多取 $1.2$,为负时至少取 $0.8$(截断方向相反),如 $r=2$ 被按 $1.2$ 截断,防止策略单步突跳。

RLHF 第三阶段的策略优化(与 KL 惩罚、GAE 一起使用);也是 OpenAI 默认的通用 RL 算法,适用于连续与离散动作空间的大规模分布式训练。

传统策略梯度 (REINFORCE) 对步长极其敏感,一步更新过大策略立即崩溃;TRPO 用约束保证单调改进但需解二阶优化,工程复杂。PPO 用 clip 近似约束,一阶优化即可稳定训练,简单而可靠。

检验攻克程度：针对「PPO 截断损失」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。