DPO 直接偏好优化

DPO (Direct Preference Optimization, 直接偏好优化) 把带 KL 正则的 RLHF 目标重新参数化,导出只依赖策略概率比的闭式损失,省掉奖励模型与在线 RL 循环。配分函数 $Z(x)$ 消掉的推导链 (3 步): ① 带 KL 约束的 RLHF 目标 $\max_\pi \mathbb{E}_{x, y \sim \pi}[r(x,y)] - \beta\, D_{KL}(\pi \| \pi_{ref})$ 有闭式最优解 $\pi^*(y|x) = \frac{1}{Z(x)}\, \pi_{ref}(y|x)\, e^{r(x,y)/\beta}$,其中配分函数 $Z(x) = \sum_y \pi_{ref}(y|x)\, e^{r(x,y)/\beta}$ 只与输入 $x$ 有关、与输出 $y$ 无关; ② 重排得到隐式奖励 $r(x,y) = \beta \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} + \beta \log Z(x)$; ③ 代入 Bradley-Terry 偏好模型 $P(y_w \succ y_l) = \sigma\left(r(x, y_w) - r(x, y_l)\right)$:两项相减时 $\beta \log Z(x)$ 完全抵消 (因 $Z$ 不依赖 $y$),偏好概率仅由概率比决定—— $$P(y_w \succ y_l) = \sigma\left( \beta \log \frac{\pi^*(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi^*(y_l|x)}{\pi_{ref}(y_l|x)} \right)$$ 训练时用 $\pi_\theta$ 替换 $\pi^*$ 并最大化偏好数据似然,取负对数得 DPO 损失: $$\mathcal{L}_{DPO}(\theta) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}}\left[ \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right]$$ $y_w$/$y_l$ 为偏好对的 chosen/rejected;$\pi_{ref}$ 为参考策略 (通常取 SFT 后的模型);$\beta$ 为温度/正则强度:$\beta$ 越大策略越保守贴近 $\pi_{ref}$、KL 越小但偏好利用弱;$\beta$ 越小策略越激进贴合偏好数据、收益更高但易过拟合/风格漂移/退化 (如长度偏置与奖励模仿)。

离线偏好对齐 (安全性、有用性、风格),只要存在对比偏好对即可使用;开源社区 "SFT → DPO" 是低成本对齐标配;也可与 GRPO 混合使用 (在线 RLVR + 离线偏好正则)。

RLHF 四阶段流水线 (奖励模型训练 → 在线采样 → PPO → KL 调参) 工程复杂、训练不稳定、显存开销大;DPO 一步监督训练完成对齐,去掉奖励模型与 RL 循环、无需在线采样,显存与算力需求大幅下降;代价是偏好数据质量直接决定效果——数据噪声、长度偏置、参考模型偏差都会被直接放大。

检验攻克程度：针对「DPO 直接偏好优化」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。