PPO 剪切代理目标函数下界证明

近端策略优化 (Proximal Policy Optimization, PPO) 悲观剪切代理目标函数与下界严格数学证明 (PPO Clipped Surrogate Objective & Pessimistic Bound Proof) 是强化学习理论与研究科学家考察信任域策略优化 (TRPO) 向一阶优化演进的经典推导；TRPO 证明了新旧策略性能单调提升下界：$\eta(\pi) \ge L_{\pi_{\text{old}}}(\pi) - C \cdot D_{\text{KL}}^{\max}(\pi_{\text{old}}, \pi)$，但计算二阶自然梯度与 Fisher 信息矩阵逆矩阵开销巨大；PPO-Clip 提出极简的一阶悲观下界代理目标：$L^{\text{CLIP}}(\theta) = \hat{\mathbb{E}}_t \left[ \min\left(r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t\right) \right]$（其中概率比 $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$）；通过 $\min$ 算子构造了对未剪切目标的悲观下界 (Pessimistic Lower Bound)，当优势 $\hat{A}_t > 0$ 时限制策略过大增长，当 $\hat{A}_t < 0$ 时限制策略剧烈恶化，在仅用一阶 SGD 的前提下保证了策略更新的单调稳定性。

强化学习对齐理论、PPO 算法收敛性分析、RS 白板强化学习公式推导。

传统策略梯度更新步长过大会导致策略走出“性能断崖 (Policy Collapse)”且无法自行恢复；PPO 剪切下界以极简的一阶计算实现了理论上有保证的保守单调更新。

检验攻克程度：针对「PPO 剪切代理目标函数下界证明」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。