M5-031M5: NLP 与大语言模型对齐与 RLHFEasy
⚡闪卡盲测➔掌握度:

写出 Bradley-Terry 偏好模型与奖励模型损失。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-032 →
📐 核心数学机理公式
P(yw≻yl∣x)=σ ⁣(r(x,yw)−r(x,yl));LRM=−E[log⁡σ ⁣(rϕ(x,yw)−rϕ(x,yl))]P(y_w\succ y_l\mid x)=\sigma\!\left(r(x,y_w)-r(x,y_l)\right);\qquad \mathcal{L}_{\text{RM}}=-\mathbb{E}\left[\log\sigma\!\left(r_\phi(x,y_w)-r_\phi(x,y_l)\right)\right]
⚡ 一句话直击要害答案
BT 模型假设 P(y_w≻y_l)=σ(r(y_w)−r(y_l));用该似然训练奖励模型,即 pairwiselogistic 损失。

📌 核心要点提炼

  • •
    BT 模型把'偏好概率'建模为奖励差的 sigmoid
  • •
    只依赖奖励之差,故奖励的绝对尺度不可辨识(需固定基准)
  • •
    等价于 pairwise logistic 损失(与排序损失同源)

📐 数学机理与严密推导

数学机理:Bradley-Terry(BT)模型源自成对比较的统计模型,假设'个体 i 胜过 j 的概率'由两者'强度'之差决定。在 RLHF 中,把'回答 y 的强度'设为奖励 r(x,y),则 P(y_w≻y_l|x)=σ(r(x,y_w)−r(x,y_l)),其中 σ 是 sigmoid。奖励模型损失——用偏好数据最大化该似然的等价形式(负对数似然):L_RM=−E[log σ(r_φ(x,y_w)−r_φ(x,y_l))]。关键性质:(a) 只依赖奖励差——损失只含 r_w−r_l,故给所有奖励加上常数 c 不改变损失;这意味着奖励的绝对尺度不可辨识(只有相对排序有意义)。实践中通过归一化(如把奖励零均值化)或固定参考来处理。(b) 等价于 pairwise logistic 排序损失——与学习排序(RankNet)的损失同构(见 M3 的排序损失题),说明'偏好学习'本质是'成对排序'。(c) 传递性假设——BT 模型假设偏好满足传递性(若 A≻B、B≻C 则 A≻C);但人类偏好可能非传递(A≻B、B≻C、C≻A 的循环),这是 BT 的局限(后续有 Plackett-Luce 等多路比较模型、以及允许非传递的方法)。扩展到多路比较——若一次比较多于两个回答(如 K 个排序),可用 Plackett-Luce 模型(对排序的概率建模),信息效率更高。实现细节——(a) 奖励模型通常复用 SFT 模型 + 换掉输出头(把词表投影换成标量投影);(b) 输入是整个 (x, y) 序列,输出是最后一个 token 位置(或特殊 token)的标量;(c) 常加奖励归一化与长度偏差校正(否则模型倾向长回答)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '只依赖奖励差'的实践含义——因为绝对尺度不可辨识,奖励模型的输出'本身没有绝对意义'('奖励 5 分'不代表'好');故 (a) 常对奖励做标准化(减去均值、除以标准差)以便设 KL 系数;(b) 比较不同奖励模型时不能比绝对值。② 长度偏差是经典问题——人类标注者倾向于认为'更长的回答更好'(即使内容相当),故奖励模型会学到'长 = 好';这导致 RLHF 后输出变长。缓解:(a) 长度控制的偏好数据(让标注者忽略长度);(b) 长度惩罚;(c) 长度平衡的数据构造(同一问题的长短回答配对)。③ 奖励模型的过优化(over-optimization)——训练越久、策略越能钻奖励模型的空子(因为奖励模型只是人类偏好的近似);表现为奖励分数持续上升但真实质量下降。这是 RLHF 的核心难题(见后续题)。④ 多路比较的效率——K 路排序比 pairwise 提供更多信息(K 个回答可产生 C(K,2) 个偏好对);但标注成本更高、且标注者一致性可能下降。⑤ 与 DPO 的关系——DPO 的推导从 BT 模型出发,把奖励用策略表示后消去,得到直接优化策略的损失;故理解 BT 是理解 DPO 的前提。⑥ 面试要点——被问'奖励模型怎么训',应写出 BT 模型 + pairwise logistic 损失,并指出'只依赖奖励差 → 绝对尺度不可辨识'与'长度偏差'这两个实践要点;能提到'BT 的传递性假设局限'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为奖励模型的绝对值有意义(只有相对排序可辨识)
  • ✕
    忽略长度偏差导致的'越训越长'
🎯 面试官连环追问与延伸考察
  • ?
    为什么奖励的绝对值不可辨识?
  • ?
    BT 模型的假设有什么局限?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-030: 描述 RLHF 的三阶段流程。📋 返回题库下一题 →M5-032: 写出 PPO 的裁剪目标,并解释 min 与 clip 的作用。