M5-042M5: NLP 与大语言模型DPO 家族Easy
⚡闪卡盲测➔掌握度:
完整推导 DPO 损失。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
从'带 KL 约束的奖励最大化'的闭式最优策略出发,反解出奖励的表达式,代入偏好似然,消去奖励得 DPO 损失。
📌 核心要点提炼
- •① RLHF 目标:max E[r] − β·KL(π‖π_ref)
- •② 该问题的闭式最优解:π* ∝ π_ref·e^{r/β}
- •③ 反解 r = β log(π*/π_ref) + β log Z
- •④ 代入 BT 偏好似然,Z 相消 → DPO 损失
📐 数学机理与严密推导
数学机理:四步推导。第①步:RLHF 的目标——max_{π} E_{x∼D, y∼π}[r(x,y)] − β·KL(π(·|x)‖π_ref(·|x))。第②步:闭式最优解——这是一个'带 KL 正则的期望奖励最大化'问题;用变分法可解出最优策略的闭式形式:π*(y|x) = (1/Z(x))·π_ref(y|x)·exp(r(x,y)/β),其中 Z(x)=Σ_y π_ref(y|x)exp(r(x,y)/β) 是归一化常数(配分函数)。直觉——最优策略是在参考策略的基础上,按'奖励的指数'重新加权(奖励高的回答概率被放大)。第③步:反解奖励——把上式取对数并整理:r(x,y) = β·log(π*(y|x)/π_ref(y|x)) + β·log Z(x)。关键——奖励可表示为'策略与参考策略的 log-ratio'加上一个只依赖 x 的常数项。第④步:代入偏好似然——用 BT 模型,偏好概率为 σ(r(x,y_w)−r(x,y_l));把第③步的表达式代入:r(y_w)−r(y_l) = β log(π*(y_w)/π_ref(y_w)) − β log(π*(y_l)/π_ref(y_l)),注意 β log Z(x) 两项相消(因为 Z 只依赖 x,在 y_w 与 y_l 中相同)。于是得到 DPO 损失:L_DPO = −E[log σ(β log(π_θ(y_w)/π_ref(y_w)) − β log(π_θ(y_l)/π_ref(y_l)))]。核心洞察——奖励被'隐式地'表示为策略与参考策略的 log-ratio,故无需显式的奖励模型、也无需 RL 采样;直接用偏好对做'类监督'的优化即可。隐含的奖励——r̂(x,y)=β log(π_θ(y|·)/π_ref(y|·)) 被称为 DPO 的隐式奖励,可用于推理时重排(见后续题)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'Z 相消'是推导的关键——配分函数 Z(x) 通常不可计算(需对所有可能回答求和),但它在偏好对中恰好相消(因为只依赖 x);这是 DPO 能实用的数学前提。② β 的作用——β 控制'对偏好信号的信任程度':β 大则更'信任'偏好(允许更大偏离参考模型)、β 小则更保守(贴近参考模型);与 RLHF 中 KL 系数作用一致。实践中 β 常取 0.1~0.5。③ DPO 的'类监督'性质——DPO 损失形式上是'对偏好对的二分类'(哪个更好),故训练像 SFT 一样稳定(无需 RL 循环、无需 Critic、无需在线采样);这使 DPO 的工程成本远低于 PPO。④ DPO 的隐含假设——推导假设'偏好数据来自参考策略 π_ref 的分布'(即数据是用 π_ref 采样得到的);若数据来自其他模型(人类写的、其他模型的输出),则假设被违反、效果下降(这是 DPO 的局限,催生 online DPO)。⑤ 与'奖励模型'的等价性——DPO 的隐式奖励可用于 (a) 评估、(b) 推理时重排(best-of-N 用隐式奖励打分)、(c) 分析策略与参考的差异。⑥ 面试要点——被问'推导 DPO',应能写出四步并强调'Z 相消'这一关键;能指出'DPO 隐式奖励 = β·log-ratio'与'数据需来自参考策略'这两个要点是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕推导时忘记 Z 相消(以为需要计算配分函数)
- ✕忽略 DPO 假设偏好数据来自参考策略
🎯 面试官连环追问与延伸考察
- ?DPO 损失中 β 的作用?
- ?DPO 为什么不需要奖励模型与采样?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!