F2Hard★ 工业基石 (核心高频)Part F · 大模型对齐与强化学习
DPO 直接偏好优化损失(免奖励模型对齐)
斯坦福团队里程碑,彻底抛弃独立 Reward Model 与 PPO 采样,显式解析求解直接在策略网络上微调偏好。
⏱️ 时间复杂度:
O(B * S) 前向计算对数似然💾 空间复杂度:
需在显存中保留 Reference 模型的权重(通常采用 LoRA 共享基底以节省显存)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def dpo_loss(
policy_chosen_logps: np.ndarray, # (B,) 当前策略在 y_w 上的序列 log 概率之和
policy_rejected_logps: np.ndarray, # (B,) 当前策略在 y_l 上的序列 log 概率之和
reference_chosen_logps: np.ndarray,# (B,) 冻结参考策略在 y_w 上的 log 概率之和
reference_rejected_logps: np.ndarray,
beta: float = 0.1
) -> float:
"""
参数:
beta: KL 惩罚强度系数 (常用 0.05 ~ 0.2)
"""
# 1. 计算隐式奖励比率
chosen_ratio =
rejected_ratio = policy_rejected_logps - reference_rejected_logps
# 2. 构造隐式奖励差 logits
logits = beta * (chosen_ratio - rejected_ratio)
# 3. 稳定计算 -log(sigmoid(logits)) = logaddexp(0, -logits)
losses = np.logaddexp(0.0, -logits)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在 DPO 训练中,偶尔会出现 Chosen 序列的绝对生成概率也在下降的现象?
💡
实战一句话记忆口诀
策略比参考得隐式奖,胜负做差乘 beta,抛弃 PPO 训自如
📐 核心数学公式与机理推导
### 隐式奖励重参数化推导
传统 RLHF 需要四套模型(Policy, Reference, Critic, Reward)复杂交织,且 PPO 训练极度脆弱。
Rafael Rafailov 等人在 2023 年证明:带 KL 正则项的受限强化学习问题存在解析闭式解:
将上述隐式奖励 代入 Bradley-Terry 似然:
常数配分函数 在做差时奇迹般精准抵消!
这使得我们完全无需显式训练任何奖励模型,也无需在线 Rollout 采样,直接使用离线数据计算当前策略与参考策略的对数似然差即可达成完美对齐。
传统 RLHF 需要四套模型(Policy, Reference, Critic, Reward)复杂交织,且 PPO 训练极度脆弱。
Rafael Rafailov 等人在 2023 年证明:带 KL 正则项的受限强化学习问题存在解析闭式解:
将上述隐式奖励 代入 Bradley-Terry 似然:
常数配分函数 在做差时奇迹般精准抵消!
这使得我们完全无需显式训练任何奖励模型,也无需在线 Rollout 采样,直接使用离线数据计算当前策略与参考策略的对数似然差即可达成完美对齐。
🔄 张量维度与形状流转说明
4 组序列对数概率 -> 计算 chosen 与 rejected 相对变化 -> beta 缩放作差 -> logaddexp -> 标量损失
🛡️ 数值稳定性自检与边界要点
- logps 必须是整条回复序列中每一个 Token 的 log_prob 的累加和,且必须忽略 Prompt 部分
- beta 过小(如 0.01)会导致偏好学习缓慢,beta 过大(如 0.5)会导致策略与 Reference 强行绑定失去灵活性
- 当 Chosen 样本的概率持续下降时可能发生退化,近期改进方案(如 SimPO、ORPO)在 DPO 基础上引入了长度归一化与无参考策略优化
💻 完整参考代码实现
import numpy as np
def dpo_loss(
policy_chosen_logps: np.ndarray, # (B,) 当前策略在 y_w 上的序列 log 概率之和
policy_rejected_logps: np.ndarray, # (B,) 当前策略在 y_l 上的序列 log 概率之和
reference_chosen_logps: np.ndarray,# (B,) 冻结参考策略在 y_w 上的 log 概率之和
reference_rejected_logps: np.ndarray,
beta: float = 0.1
) -> float:
"""
参数:
beta: KL 惩罚强度系数 (常用 0.05 ~ 0.2)
"""
# 1. 计算隐式奖励比率
chosen_ratio = policy_chosen_logps - reference_chosen_logps
rejected_ratio = policy_rejected_logps - reference_rejected_logps
# 2. 构造隐式奖励差 logits
logits = beta * (chosen_ratio - rejected_ratio)
# 3. 稳定计算 -log(sigmoid(logits)) = logaddexp(0, -logits)
losses = np.logaddexp(0.0, -logits)
return float(np.mean(losses))
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# 模拟:策略对 chosen 赋予更高概率,对 rejected 赋予更低概率
pi_w = np.array([-10.0])
pi_l = np.array([-25.0])
ref_w = np.array([-15.0])
ref_l = np.array([-20.0])
loss = dpo_loss(pi_w, pi_l, ref_w, ref_l, beta=0.1)
# chosen 提升 5,rejected 下降 5,总差值 +10,logits = 0.1 * 10 = 1.0
# loss = ln(1 + e^-1) = 0.313
assert np.isclose(loss, 0.31326, atol=1e-3)
print("✓ DPO 损失函数自测通过")🎯 核心工程追问与标准应答
Q1:为什么在 DPO 训练中,偶尔会出现 Chosen 序列的绝对生成概率也在下降的现象?
因为 DPO 的损失函数本质上只约束 Chosen 与 Rejected 之间的相对分差(Implicit Margin)。为了让差值增大,模型往往发现压低 Rejected 的概率比提升 Chosen 更加容易(所谓的负向惩罚主导),导致两者的绝对对数概率同时衰减。SimPO 通过引入显式的目标边际 并移除了 Reference 模型,有效修复了这一漂移。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!