M5-051M5: NLP 与大语言模型DPO 家族Hard
⚡闪卡盲测➔掌握度:

解释 online / iterative DPO 的做法与收益。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-052 →
📐 核心数学机理公式
iter: πk samples→label→DPO(πk,Dk)→πk+1\text{iter}:\ \pi_k\ \text{samples}\to\text{label}\to\text{DPO}(\pi_k,\mathcal{D}_k)\to\pi_{k+1}
⚡ 一句话直击要害答案
用当前策略生成回答、标注偏好、再做 DPO;满足'数据来自当前策略'的假设并恢复在线探索能力。

📌 核心要点提炼

  • •
    做法:当前策略采样 → 标注偏好 → DPO → 迭代
  • •
    收益:满足 DPO 的数据假设 + 恢复在线探索
  • •
    与 SPIN/self-rewarding 同属'自提升'范式

📐 数学机理与严密推导

数学机理:动机——DPO 的两个局限都源于'离线固定数据':(a) 推导假设偏好数据来自参考策略 π_ref,但实际数据常来自其他模型(假设被违反);(b) 无法探索数据之外的回答空间(上限受数据质量限制)。online / iterative DPO 的解法——迭代执行:(1) 用当前策略 π_k 生成多个回答;(2) 收集偏好标注(人工或 AI);(3) 用这些on-policy 数据做 DPO(参考模型可设为 π_k 或最初的 SFT 模型);(4) 得到 π_{k+1},重复。收益:(a) 满足数据假设——数据来自当前策略,符合 DPO 推导的前提(故理论更可靠);(b) 恢复在线探索——策略能在自己的输出空间上被优化(能发现'数据之外'的更好回答);(c) 难度递进——随策略变强,偏好数据自然变难(提供更精细的信号);(d) 可持续改进——每轮都提升。与相关方法的关系:(a) SPIN(Self-Play Fine-Tuning)——用'当前策略 vs 人类数据'构造偏好对(把人类数据当作 y_w、模型输出当作 y_l),迭代自提升;(b) self-rewarding——模型自己生成偏好标注(自我评估),减少人工;(c) iterative RLHF——同样的迭代思想但用 PPO/GRPO。成本——主要成本是 (a) 反复采样(自回归生成慢)、(b) 反复标注(人工贵,故常用 RLAIF);故 online DPO 常配'AI 标注 + 人工抽检'。实证——多个工作显示 iterative/online DPO 优于单轮 DPO(在同等标注预算下),且接近甚至超过 PPO 的效果(但工程更简单)。迭代次数——通常 2~5 轮(收益递减)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'online DPO 是 DPO 与 PPO 的折中'——它保留了 DPO 的'无 RL 循环、无 Critic、训练稳定'的优点,同时获得 PPO 的'在线探索'能力;代价是需采样与标注(但比 PPO 简单)。这是当前'性价比'很高的方案。② 参考模型的选择——迭代时 π_ref 可固定为最初的 SFT 模型(保持'不偏离原始能力')或更新为上一轮策略(允许逐步偏离);前者更保守、后者更激进。③ 'AI 标注'的必要性——人工无法支撑高频迭代;故 online DPO 几乎必然依赖 RLAIF(AI 标注);这引入 AI 偏见(需抽检与去偏)。④ 与'拒绝采样微调(RFT)'的区别——RFT 用二值筛选(只保留正确/高分的)做 SFT;online DPO 用偏好对做对比损失(利用了'哪个更好'的相对信息)。故 DPO 的信息利用率更高(连'都不好但有一个更好'的样本也能用)。⑤ '自提升'的边界——若模型自己标注偏好(self-rewarding),则受限于模型自身的判断力(可能强化自身偏见);故常需'外部信号'(更强模型、程序验证、人类抽检)锚定。⑥ 面试要点——被问'online DPO 解决什么',应给出'满足 DPO 的数据假设 + 恢复在线探索 + 难度递进',并说明'它是 DPO 与 PPO 的折中(简单 + 探索)'与'依赖 AI 标注';能区分'RFT(二值筛选)vs online DPO(偏好对)'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 online DPO 不需要额外采样成本
  • ✕
    用模型自标注而不做外部锚定(强化自身偏见)
🎯 面试官连环追问与延伸考察
  • ?
    online DPO 与 iterative RLHF 的关系?
  • ?
    标注成本如何控制?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-050: 解释 DPO 的隐式奖励与它如何用于推理时。📋 返回题库下一题 →M5-052: 解释 DPO 的长度偏置与长度控制方法。