M5-053M5: NLP 与大语言模型DPO 家族Medium
⚡闪卡盲测➔掌握度:
解释 DPO 与 SFT 的混合训练策略。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
在 DPO 损失中混入一定比例的 SFT 损失(对好回答的 NLL),可防止似然位移、保持生成质量与语言能力。
📌 核心要点提炼
- •纯 DPO 会导致似然位移(好回答绝对概率下降)
- •混入 SFT 损失(对 y_w 的 NLL)可锚定绝对概率
- •α 常取 0.01~0.1;也可用'先 SFT 再 DPO'的两阶段
📐 数学机理与严密推导
数学机理:动机——纯 DPO 只约束'好回答相对坏回答的 log-ratio',故可通过'同时降低两者的绝对概率'来增大比值(似然位移),导致 (a) 生成质量下降(绝对概率低)、(b) 语言能力退化(输出不自然)、(c) 灾难性遗忘。混合策略——在 DPO 损失中加入 SFT 损失(对好回答 y_w 的负对数似然):L=L_DPO + α·L_SFT(y_w),其中 L_SFT(y_w)=−log π_θ(y_w|x)。作用机制——SFT 项直接提高好回答的绝对概率(而非仅相对),从而 (a) 锚定绝对概率(防似然位移)、(b) 保持生成质量与流畅性、(c) 缓解遗忘。α 的选择——(a) α 太小(如 0.001)无效果(DPO 主导);(b) α 太大(如 1)则退化为 SFT(失去偏好优化效果);(c) 常用 0.01~0.1(TRL 的 DPO 支持
sft_loss 混合)。其他等价/相关做法:(a) 两阶段——先 SFT、再纯 DPO(简单但可能在 DPO 阶段仍出现似然位移);(b) 参考模型的锚定——DPO 的 log-ratio 已含 π_ref(提供一定锚定),但不够(因为 π_ref 固定,不能阻止 π_θ 绝对概率下降);(c) RPO/IPO 等变体——用有界目标从结构上防止过度优化。实证——多个工作显示'DPO + SFT 混合'在生成质量与流畅性上优于纯 DPO,且对'语言退化'有显著缓解。注意——混合 SFT 也会 (a) 稍微削弱偏好优化的强度、(b) 增加一个超参 α;但收益通常大于成本。🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '似然位移'是混合 SFT 的直接动机——理解这一点是掌握该技巧的关键;它说明'相对偏好'与'绝对质量'是两个维度,需分别优化。② α 的调参经验——实践中常从 0.01~0.05 起步,观察'输出长度/流畅性/偏好准确率'三个指标;若流畅性下降则增大 α。③ 与'两阶段训练'的对比——两阶段(SFT → DPO)更简单,但 DPO 阶段仍可能破坏 SFT 学到的流畅性;混合(同时优化)能在训练过程中持续锚定。故混合更稳健。④ 与'online DPO'的关系——online DPO 用当前策略的数据,似然位移的风险相对小(因为数据与策略分布一致);但混合 SFT 仍是有益的补充。⑤ '遗忘'的检测——混合 SFT 能缓解遗忘,但仍需在通用基准上验证(如 MMLU、常识推理);若遗忘明显,可增大 α 或混入通用数据。⑥ 面试要点——被问'DPO 训练要注意什么',应给出'似然位移 → 混合 SFT 损失(对 y_w 的 NLL,α≈0.01~0.1)→ 锚定绝对概率、保持流畅性',并说明'α 太小无效、太大退化为 SFT';能解释'似然位移的机制(同时降低两者以增大比值)'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕纯 DPO 训练导致输出不自然(似然位移)
- ✕α 设得过大使 DPO 退化为 SFT
🎯 面试官连环追问与延伸考察
- ?为什么混合 SFT 能缓解似然位移?
- ?α 太大有什么问题?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!