M5-054M5: NLP 与大语言模型GRPO 与推理模型Easy
⚡闪卡盲测➔掌握度:
写出 GRPO 的优势估计与损失。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
对每个 prompt 采样一组回答,用组内奖励的均值/标准差归一化作为优势(替代 Critic),再做 PPO 式裁剪优化。
📌 核心要点提炼
- •对每个 prompt 采样 G 个回答(一个 group)
- •优势 = (r_i − 组内均值)/组内标准差
- •去掉 Critic,用组内统计作为基线
📐 数学机理与严密推导
数学机理:GRPO(Group Relative Policy Optimization,DeepSeekMath) 的核心创新是用'组内相对奖励'替代 Critic。(1) 采样组(group)——对每个 prompt x,用当前策略采样 G 个回答(如 G=8~64):{y_1, …, y_G};(2) 计算奖励——对每个回答算奖励 r_i(可为 RM 打分或可验证奖励如答案对错);(3) 组内归一化作为优势——Â_i=(r_i − mean(r))/std(r);这表示'该回答比同组平均好多少(以标准差为单位)';(4) PPO 式优化——用 Â_i 作为优势,做与 PPO 相同的裁剪优化(含 KL 惩罚)。为什么组内均值是好基线——(a) 消去'题目难度'——同一 prompt 的 G 个回答共享相同难度,故组内比较自动扣除难度(比 Critic 估计的价值更准);(b) 无需 Critic——省一个模型(显存与训练复杂度大降);(c) 低方差——组内 G 个样本的均值是比单样本回报更好的基线。与 PPO 的对比——PPO 用 Critic V(s) 估计基线(需训练价值网络、且状态空间巨大难以准确);GRPO 用'同 prompt 的样本均值'(无需训练、天然准确)。与 RLOO 的关系——RLOO 用'留一法均值'(对第 i 个样本用其余样本的均值作基线);GRPO 用'全组均值 + 标准差归一化'(更简单且归一化使尺度一致)。优势的广播——Â_i 是序列级的(整个回答一个值),广播到该回答的所有 token(因为奖励是序列级的)。G 的选择——G 越大基线越准但采样成本越高(∝G);常用 8~64。注意——组内标准差为 0 时(所有回答奖励相同)优势为 0(无梯度),这是'全对或全错'的常见情况(需用其他技巧,如 DAPO 的动态采样)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '组内相对'的优雅性——它把'绝对奖励'转为'相对排名',天然处理了'奖励尺度不定'与'难度差异'两个问题;这是 GRPO 在 LLM 场景优于 PPO 的关键。② G 的成本-收益——采样 G 个回答的成本 ∝G(自回归生成),但 G 越大优势估计越准;实践中 G=8~16 常见(G=64 用于小模型或困难任务)。③ '全对/全错'的退化——若某 prompt 的所有 G 个回答都对(或都错),则组内奖励无差异、优势为 0(无梯度);这浪费了采样成本。DAPO 的'动态采样'正是解决此问题(过滤掉这类 prompt)。④ 与可验证奖励的天然契合——GRPO 的奖励可以是'答案是否正确'(0/1),此时组内归一化直接给出'相对好坏';这使 GRPO 成为 RLVR 的主流算法(DeepSeek-R1 采用)。⑤ KL 惩罚仍需——GRPO 保留了 KL 惩罚(防偏离参考模型与语言退化);这是与 DPO 的重要区别(DPO 的 KL 是隐式的)。⑥ 面试要点——被问'GRPO 是什么',应写出'组内采样 → 组内均值/标准差归一化作为优势 → PPO 式裁剪'并解释'组内基线消去难度、省去 Critic';能指出'全对/全错时优势为 0(需动态采样)'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕以为 GRPO 完全不需要基线(用组内均值作基线)
- ✕忽略'全对/全错'导致优势为 0 的退化
🎯 面试官连环追问与延伸考察
- ?为什么组内均值是好的基线?
- ?G 取多大合适?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!