F1Medium★ 工业基石 (核心高频)Part F · 大模型对齐与强化学习
Bradley-Terry 奖励模型损失(偏好对数似然)
InstructGPT / RLHF 奖励模型的核心训练目标,Chosen 胜过 Rejected 标量分差的 Sigmoid 交叉熵。
⏱️ 时间复杂度:
O(B)💾 空间复杂度:
O(B)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def bradley_terry_reward_loss(
r_chosen: np.ndarray, # (B,) 模型对胜出回复预测的标量奖励打分
r_rejected: np.ndarray # (B,) 模型对落败回复预测的标量奖励打分
) -> float:
"""
数值稳定的 Bradley-Terry 奖励模型损失计算。
"""
diff =
# -log(sigmoid(diff)) = log(1 + exp(-diff)) = logaddexp(0, -diff)
losses = np.logaddexp(0.0, -diff)
return
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
赢者分减输者分,负值塞入 logaddexp,差距越大损失零
📐 核心数学公式与机理推导
### 偏好博弈数学推导
Bradley-Terry(1952)模型定义了两个竞争对手之间胜率的概率分布。
在 RLHF 中,给定提示词 以及人工标注评选出的胜出回答 (Chosen)与落败回答 (Rejected):
人类偏好胜出的后验概率建模为两回答标量打分之差的 Sigmoid 映射:
通过极大似然估计最小化负对数似然:
此举激励模型拉大优质回答与劣质回答的打分差距。
Bradley-Terry(1952)模型定义了两个竞争对手之间胜率的概率分布。
在 RLHF 中,给定提示词 以及人工标注评选出的胜出回答 (Chosen)与落败回答 (Rejected):
人类偏好胜出的后验概率建模为两回答标量打分之差的 Sigmoid 映射:
通过极大似然估计最小化负对数似然:
此举激励模型拉大优质回答与劣质回答的打分差距。
🔄 张量维度与形状流转说明
r_chosen, r_rejected: (B,) -> diff: (B,) -> np.logaddexp(0, -diff) -> 标量损失
🛡️ 数值稳定性自检与边界要点
- 绝对不要写成 -np.log(sigmoid(r_w - r_l)),当 r_w << r_l 时容易下溢崩溃
- 在实际大模型训练中,为防止奖励打分整体无限飘移(Reward Drift),通常会在损失中加入一个小权重正则项(如 0.001 * (r_w^2 + r_l^2))使其均值固定在 0 附近
💻 完整参考代码实现
import numpy as np
def bradley_terry_reward_loss(
r_chosen: np.ndarray, # (B,) 模型对胜出回复预测的标量奖励打分
r_rejected: np.ndarray # (B,) 模型对落败回复预测的标量奖励打分
) -> float:
"""
数值稳定的 Bradley-Terry 奖励模型损失计算。
"""
diff = r_chosen - r_rejected # (B,)
# -log(sigmoid(diff)) = log(1 + exp(-diff)) = logaddexp(0, -diff)
losses = np.logaddexp(0.0, -diff)
return float(np.mean(losses))
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
r_w = np.array([3.0, 5.0])
r_l = np.array([1.0, 1.0])
loss = bradley_terry_reward_loss(r_w, r_l)
# 差值全为正,loss 应显著小于 ln(2) 约 0.693
assert loss < 0.2
print("✓ Bradley-Terry 奖励模型损失自测通过")🎯 核心工程追问与标准应答
Q1:如果人工标注的偏好数据存在双向平局(Tie),Bradley-Terry 损失应如何扩展?
引入 Rao-Kupper 扩展模型,定义一个平局阈值参数 。当 时认为处于无差异平局区间;或将平局数据拆解为两条置信度减半的对称双向样本并入 Batch 训练。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!