GRPO & Reasoning Models: 解释 DAPO 的改进点。

Core Concept: 四项改进：clip-higher（非对称裁剪）、动态采样（过滤全对/全错）、token 级损失归一化、超长奖励整形。

数学机理：<strong>DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization）</strong> 针对 GRPO 在长 CoT 场景的四个问题提出改进。<strong>(1) clip-higher（解耦裁剪）</strong>——标准 PPO/GRPO 用对称裁剪 [1−ε, 1+ε]（如 ε=0.2）。<strong>问题</strong>：下界（1−ε）限制'降低某 token 概率'的幅度，可能阻碍'探索'（低概率 token 难以被提升）；上界（1+ε）限制'提高概率'的幅度。DAPO 用<strong>非对称裁剪</strong>：下界更严（如 1−0.2）、上界更宽（如 1+0.28）；这<strong>鼓励提升低概率 token</strong>（增加探索/多样性），同时限制下降。<strong>效果</strong>——缓解'熵崩塌'（策略过早收敛到单一模式），保持探索能力。<strong>(2) 动态采样（dynamic sampling）</strong>——GRPO 中若某 prompt 的所有 G 个回答<strong>全对或全错</strong>，则组内奖励无差异、<strong>优势为 0</strong>（无梯度），采样成本被浪费。DAPO 的做法是<strong>过滤掉</strong>这类 prompt（或重新采样直到获得'有区分度'的组），使每个 batch 都提供有效梯度。<strong>效果</strong>——提升训练效率（不浪费算力）。<strong>(3) token 级损失归一化</strong>——GRPO 的损失按'每 token 平均'计算，导致长回答的每个 token 权重更小（间接鼓励长输出）；DAPO 改用'先按序列求和在按 batch 平均'的归一化方式，修正长度偏置。<strong>(4) 超长奖励整形（overlong reward shaping）</strong>——对<strong>超长</strong>（超过目标长度）的回答给<strong>惩罚</strong>（而非直接截断给 0 奖励），使模型学会'在合理长度内完成推理'（避免无意义的冗长）。<strong>综合效果</strong>——DAPO 在长 CoT 的 RL 训练上更稳定、更高效，且输出长度可控；论文报告在 AIME 等推理基准上显著优于 GRPO。

深度剖析与工程权衡：① <strong>'动态采样'是简单但高效的改进</strong>——它解决了'全对/全错组无梯度'这一明显的浪费；实现上只需在采样后检查奖励的方差（若为 0 则丢弃/重采）。这是'识别并消除无效计算'的工程优化。② <strong>'clip-higher 防熵崩塌'的机制</strong>——若上界太严，低概率 token 无法被提升，策略会过早收敛到'已知的好模式'，丧失探索；放宽上界使'新思路'有机会被强化。这与'RL 需要探索'的本质一致。③ <strong>'长度控制'在推理模型中的重要性</strong>——推理模型常'过度思考'（overthinking，见后续题）；超长惩罚是直接的控制手段。④ <strong>四项改进的正交性</strong>——它们分别针对'探索（clip-higher）/ 效率（动态采样）/ 长度偏置（token 级损失）/ 长度控制（超长惩罚）'四个不同问题，可独立或组合使用。⑤ <strong>与 GSPO 的关系</strong>——GSPO 针对'长序列 ratio 的尺度'、DAPO 针对'裁剪/采样/归一化/长度'；两者都服务于'长 CoT RL 的稳定性'，可组合。⑥ <strong>面试要点</strong>——被问'DAPO 改了什么'，应给出'<strong>clip-higher（非对称裁剪，鼓励探索）+ 动态采样（丢弃全对/全错）+ token 级损失归一化（修正长度偏置）+ 超长惩罚（长度控制）</strong>'四项与各自解决的问题；能解释'全对/全错组优势为 0'是深度理解的标志。