F1Medium★ 工业基石 (核心高频)Part F · 大模型对齐与强化学习

Bradley-Terry 奖励模型损失(偏好对数似然)

⚡闪卡盲测➔

InstructGPT / RLHF 奖励模型的核心训练目标,Chosen 胜过 Rejected 标量分差的 Sigmoid 交叉熵。

⏱️ 时间复杂度: O(B)
💾 空间复杂度: O(B)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def bradley_terry_reward_loss(
r_chosen: np.ndarray, # (B,) 模型对胜出回复预测的标量奖励打分
r_rejected: np.ndarray # (B,) 模型对落败回复预测的标量奖励打分
) -> float:
"""
数值稳定的 Bradley-Terry 奖励模型损失计算。
"""
diff =
# -log(sigmoid(diff)) = log(1 + exp(-diff)) = logaddexp(0, -diff)
losses = np.logaddexp(0.0, -diff)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 如果人工标注的偏好数据存在双向平局(Tie),Bradley-Terry 损失应如何扩展?
下一题: DPO 直接偏好优化损失(免奖励模型对齐) →
💡

实战一句话记忆口诀

赢者分减输者分,负值塞入 logaddexp,差距越大损失零

📐 核心数学公式与机理推导

LRM=−E(x,yw,yl)[log⁡σ(rθ(x,yw)−rθ(x,yl))]\mathcal{L}_{\mathrm{RM}} = -\mathbb{E}_{(x, y_w, y_l)}\left[\log \sigma\left(r_\theta(x, y_w) - r_\theta(x, y_l)\right)\right]
### 偏好博弈数学推导
Bradley-Terry(1952)模型定义了两个竞争对手之间胜率的概率分布。
在 RLHF 中,给定提示词 xx 以及人工标注评选出的胜出回答 ywy_w(Chosen)与落败回答 yly_l(Rejected):
人类偏好胜出的后验概率建模为两回答标量打分之差的 Sigmoid 映射:
P(yw≻yl∣x)=σ(r(x,yw)−r(x,yl))=11+e−(rw−rl)P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l)) = \frac{1}{1 + e^{-(r_w - r_l)}}
通过极大似然估计最小化负对数似然:
L=−log⁡σ(rw−rl)=logaddexp(0,−(rw−rl))\mathcal{L} = -\log \sigma(r_w - r_l) = \mathrm{logaddexp}(0, -(r_w - r_l))
此举激励模型拉大优质回答与劣质回答的打分差距。

🔄 张量维度与形状流转说明

r_chosen, r_rejected: (B,) -> diff: (B,) -> np.logaddexp(0, -diff) -> 标量损失

🛡️ 数值稳定性自检与边界要点

  • 绝对不要写成 -np.log(sigmoid(r_w - r_l)),当 r_w << r_l 时容易下溢崩溃
  • 在实际大模型训练中,为防止奖励打分整体无限飘移(Reward Drift),通常会在损失中加入一个小权重正则项(如 0.001 * (r_w^2 + r_l^2))使其均值固定在 0 附近

💻 完整参考代码实现

import numpy as np

def bradley_terry_reward_loss(
    r_chosen: np.ndarray,    # (B,) 模型对胜出回复预测的标量奖励打分
    r_rejected: np.ndarray   # (B,) 模型对落败回复预测的标量奖励打分
) -> float:
    """
    数值稳定的 Bradley-Terry 奖励模型损失计算。
    """
    diff = r_chosen - r_rejected  # (B,)
    # -log(sigmoid(diff)) = log(1 + exp(-diff)) = logaddexp(0, -diff)
    losses = np.logaddexp(0.0, -diff)
    return float(np.mean(losses))

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
r_w = np.array([3.0, 5.0])
r_l = np.array([1.0, 1.0])
loss = bradley_terry_reward_loss(r_w, r_l)
# 差值全为正,loss 应显著小于 ln(2) 约 0.693
assert loss < 0.2
print("✓ Bradley-Terry 奖励模型损失自测通过")

🎯 核心工程追问与标准应答

Q1:如果人工标注的偏好数据存在双向平局(Tie),Bradley-Terry 损失应如何扩展?
引入 Rao-Kupper 扩展模型,定义一个平局阈值参数 τ\tau。当 ∣rw−rl∣<τ|r_w - r_l| < \tau 时认为处于无差异平局区间;或将平局数据拆解为两条置信度减半的对称双向样本并入 Batch 训练。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Huber Loss / Smooth L1(对异常点鲁棒的回归损失)返回 Part F 与全部 105 题下一题: DPO 直接偏好优化损失(免奖励模型对齐) →