DPO 直接偏好优化

DPO (Direct Preference Optimization, 直接偏好优化) 是一种无需奖励模型和强化学习的对齐方法。核心洞察:RLHF 的奖励模型隐式定义了一个最优策略,DPO 把这个闭式解代回目标函数,配分函数 $Z(x)$ 被消掉,训练退化为对偏好对 (chosen/rejected) 的监督学习,损失只依赖策略与参考策略的概率比。

将 LLM 对齐到人类偏好(安全性、风格、有用性);只要偏好数据以对比对形式存在即可使用,是 RLHF 的轻量替代,也是开源社区微调的首选(如对齐到 helpful/harmless 数据)。

RLHF 需要训练奖励模型 + 在线采样 + PPO 四步流水线,工程复杂且训练不稳定;DPO 一步监督训练完成对齐,省掉奖励模型和 RL 循环,显存与算力需求大幅下降。

DPO 和 RLHF 的核心区别是什么?DPO 为什么不需要奖励模型和强化学习?

DPO 的损失函数推导:配分函数 Z(x) 是如何被消掉的?

DPO 的 β 超参数是什么含义?β 大和小分别有什么影响?

DPO 和 GRPO 的区别是什么?分别适用什么场景?

DPO 的局限:为什么有人说 DPO 对偏好数据质量敏感?参考模型在其中起什么作用?