M5-043M5: NLP 与大语言模型DPO 家族Easy
⚡闪卡盲测➔掌握度:

比较 PPO、DPO 与 GRPO 的依赖与适用场景。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-044 →
📐 核心数学机理公式
PPO: RM+Critic+on-policy;DPO: pairs+πref;GRPO: group baseline, no Critic\text{PPO}:\ \text{RM}+\text{Critic}+\text{on-policy};\quad \text{DPO}:\ \text{pairs}+\pi_{\text{ref}};\quad \text{GRPO}:\ \text{group baseline},\ \text{no Critic}
⚡ 一句话直击要害答案
PPO 需 RM+Critic+在线采样;DPO 只需偏好对与参考模型;GRPO 去 Critic、用组内基线、需可验证奖励。

📌 核心要点提炼

  • •
    PPO:最强但最复杂(4 模型、在线采样)
  • •
    DPO:最简单(无需 RM/RL),但无在线探索
  • •
    GRPO:介于两者(无 Critic,但需采样与奖励)

📐 数学机理与严密推导

数学机理:三者的依赖与机制。PPO(RLHF 标准)——依赖:(a) 奖励模型(RM,需偏好数据训练);(b) Critic(价值网络,需训练);(c) Reference(参考模型,算 KL);(d) 在线采样(每轮用当前策略生成)。优点——最强的能力(在线探索、可迭代改进、可处理任意奖励)。缺点——工程复杂(4 模型、显存大)、训练不稳、采样慢、超参多。DPO——依赖:(a) 偏好对数据;(b) 参考模型(通常是 SFT 模型)。机制——直接把偏好对做对比损失(见推导),无需 RM、无需 RL 循环、无需采样。优点——简单稳定(像 SFT)、成本低、易复现。缺点——(a) 无在线探索(用固定数据,无法探索数据外的区域);(b) 假设数据来自参考策略(否则效果下降);(c) 无法利用'未通过验证'的样本(不像 RL 可用部分奖励)。GRPO(Group Relative Policy Optimization)——依赖:(a) 奖励函数(可为 RM 或可验证奖励如答案对错);(b) 在线采样(每个 prompt 采样一组回答);去掉 Critic(用组内平均奖励作为基线)。机制——对每个 prompt 采样 G 个回答,计算各自奖励,用 (r_i − mean)/std 作为优势(组内归一化),再用 PPO 式损失优化(但无 Critic)。优点——比 PPO 省一个模型、比 DPO 有在线探索能力;特别适合可验证奖励(数学/代码:奖励是'答案是否正确')。缺点——需采样(慢)、奖励需可靠、仍有 RL 的不稳定性。选择逻辑——(a) 有偏好数据、求简单稳定 → DPO;(b) 有可验证奖励(数学/代码)、求推理能力 → GRPO/RLVR;(c) 需最强对齐、有充足资源 → PPO(+ 迭代 RM);(d) 实践路径:DPO 起步 → 不足再上 GRPO/PPO。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '在线探索'是 PPO/GRPO 相对 DPO 的核心优势——在线采样使策略能探索'偏好数据之外'的回答空间,从而发现更好的回答;DPO 只能在固定数据的'支撑集'内优化(这也是'DPO 难以超越数据质量'的原因)。② '奖励的来源'决定方法选择——(a) 有人类偏好 → DPO/PPO;(b) 有可验证奖励(答案对错、测试通过) → GRPO/RLVR(最可靠);(c) 有AI 反馈 → RLAIF 系列。故'先问奖励从哪来'是选择方法的第一步。③ GRPO 的'组内基线'为何有效——同一 prompt 的多个回答共享相同的'难度',故组内比较能消去'题目难度'这一混淆因素;这使基线估计更准(比 Critic 更简单且往往更好)。④ 与'推理模型'的关系——推理任务(数学/代码)天然有可验证奖励,故 GRPO/RLVR 成为推理模型训练的主流(DeepSeek-R1 等)。⑤ 成本对比——DPO(无采样、无 RM、无 Critic)<< GRPO(需采样,无 Critic)< PPO(需采样 + RM + Critic)。故'先用 DPO,不够再升级'是经济的选择。⑥ 面试要点——被问'PPO/DPO/GRPO 怎么选',应给出'依赖(RM/Critic/采样)+ 在线探索能力 + 奖励类型 + 成本'的四维对比与选择逻辑;能指出'奖励来源决定方法选择'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 DPO 全面优于 PPO(DPO 无在线探索)
  • ✕
    在可验证任务上用 DPO 而非 GRPO/RLVR
🎯 面试官连环追问与延伸考察
  • ?
    什么场景该用 PPO 而非 DPO?
  • ?
    GRPO 为什么适合推理任务?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-042: 完整推导 DPO 损失。📋 返回题库下一题 →M5-044: 解释 ORPO/KTO 的动机与差异。