M5-039M5: NLP 与大语言模型对齐与 RLHFHard
⚡闪卡盲测➔掌握度:

解释 PPO 在 LLM 中的实现细节(token-level vs sequence-level)。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-040 →
📐 核心数学机理公式
rt=πθ(yt∣x,y<t)πold(yt∣x,y<t);At=A^seq (broadcast);loss on response tokens onlyr_t=\frac{\pi_\theta(y_t|x,y_{<t})}{\pi_{\text{old}}(y_t|x,y_{<t})};\qquad A_t=\hat A_{\text{seq}}\ \text{(broadcast)};\qquad \text{loss on response tokens only}
⚡ 一句话直击要害答案
动作是 token 但奖励是序列级;实现上 ratio 与 KL 按 token 算、优势广播到 token;只对回答 token 算损失。

📌 核心要点提炼

  • •
    动作 = 每个 token;奖励 = 整个回答一个标量
  • •
    ratio 与 KL 是 token 级;优势是序列级广播到 token
  • •
    损失只算回答 token(指令部分 mask 掉)

📐 数学机理与严密推导

数学机理:LLM 中 RL 的形式化——把生成过程建模为 MDP:(a) 状态 s_t=(x, y_{<t})(prompt + 已生成的 token);(b) 动作 a_t=y_t(下一个 token);(c) 奖励 r 只在序列末尾给出(奖励模型对整个回答打分)——这是关键的特殊性(稀疏奖励);(d) 转移是确定的(拼接 token)。实现细节:(1) ratio 是 token 级——r_t=π_θ(y_t|x,y_{<t})/π_old(y_t|x,y_{<t}),即每个 token 的概率比;PPO 的 clip 作用在每个 token 上。(2) 优势的处理——严格地,优势 A_t 应反映'在 s_t 采取 a_t 的长期收益';但 LLM 中奖励只在末尾,且 γ=1 时中间步骤的 TD 残差主要由 Critic 给出。实践中常见两种简化:(a) 用 Critic + GAE(标准做法,但 Critic 难训);(b) 直接把序列级优势(或'奖励−基线')广播到所有 token(简化,GRPO/部分实现采用)。(3) KL 是 token 级——序列级 KL 分解为逐 token KL 之和,故实现为'每个 token 的奖励减 β·log(π_θ/π_ref)'。(4) 损失只算回答 token——prompt 部分 mask 掉(与 SFT 一致),因为只有回答是'策略生成的'。(5) 序列级聚合——最终损失是'所有回答 token 的 PPO 损失之和/平均'(可选按长度归一化)。与其他实现差异——(a) GRPO:去掉 Critic,用同一 prompt 的多个回答的平均奖励作为基线,优势 = (r_i − mean)/std(组内归一化),再广播到该回答的所有 token;(b) RLOO:用'留一法'的均值作为基线;(c) DPO:完全不做 RL 循环,直接用偏好对做对比损失。关键工程点——(a) 采样用 inference engine(vLLM)加速、训练用 trainer(权重同步);(b) 计算 log-prob 需要'重新前向'(因为采样时的 log-prob 可能未保存);(c) 数值稳定(log-ratio 的精度)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '奖励稀疏'是 LLM RL 的核心特殊性——标准 RL 每步都有奖励,LLM 只有末尾一个;这使 (a) Critic 的训练更难(需从稀疏信号学价值)、(b) '把序列优势广播到 token'的近似更常见。② 'token 级 KL'的必要性——若只在序列末尾加 KL,则中间的偏离不受约束;逐 token KL 提供了'每步的约束',是防止语言退化的关键。③ '重新前向算 log-prob'的开销——采样时通常不保存每个 token 的 log-prob(为省显存),故训练时需用当前/旧策略重新前向计算;这增加了一次前向的开销(是 RLHF 慢的原因之一)。④ 与'长度归一化'的关系——序列级损失若按'token 数平均',则长回答的每个 token 权重更小;若按'序列求和',则长回答影响更大。选择会影响'是否鼓励长输出'。⑤ GRPO 的简化价值——去掉 Critic 省了一个模型与一套训练逻辑,且'组内均值基线'在 LLM 中效果良好;这使 GRPO 成为当前推理模型 RL 的主流(DeepSeek-R1 采用)。⑥ 面试要点——被问'LLM 里的 PPO 与标准 PPO 有何不同',应给出'动作=token、奖励=序列级、ratio/KL 为 token 级、优势广播到 token、只算回答 token',并说明'GRPO 用组内均值替代 Critic';能指出'需重新前向算 log-prob'这一工程细节是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    把奖励当作 token 级(实际是序列级)
  • ✕
    只在序列末尾加 KL(中间不受约束)
🎯 面试官连环追问与延伸考察
  • ?
    为什么优势要广播到每个 token?
  • ?
    token 级 KL 与序列级 KL 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-038: 解释 RLHF 的 on-policy 采样与 off-policy 数据。📋 返回题库下一题 →M5-040: 解释迭代式 RLHF / online RLHF 的动机与做法。