M5-040M5: NLP 与大语言模型对齐与 RLHFHard
⚡闪卡盲测➔掌握度:

解释迭代式 RLHF / online RLHF 的动机与做法。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-041 →
📐 核心数学机理公式
iter k: πk samples→relabel→RMk+1→PPO→πk+1\text{iter }k:\ \pi_k\ \text{samples}\to\text{relabel}\to\text{RM}_{k+1}\to\text{PPO}\to\pi_{k+1}
⚡ 一句话直击要害答案
单轮 RLHF 会因 RM 过优化而退化;迭代式定期用新策略输出重新标注、更新 RM,缩小分布外区域。

📌 核心要点提炼

  • •
    单轮 RLHF:RM 固定,策略越训越偏(过优化)
  • •
    迭代式:定期用新策略数据更新 RM
  • •
    标注可由人工或 AI(RLAIF)完成

📐 数学机理与严密推导

数学机理:单轮 RLHF 的局限——(a) RM 固定:训练过程中 RM 不变,而策略持续偏离(进入 RM 的分布外区域)→ 过优化;(b) 偏好数据来自旧模型:初始偏好数据是用 SFT 模型(或早期模型)的输出收集的,与最终策略的输出分布差异大;(c) 数据利用率低:一次性收集的偏好数据在训练中很快'饱和'(策略已学会其中的区分)。迭代式/online RLHF 的解法——周期性地:(1) 用当前策略生成多个回答;(2) 收集新的偏好比较(人工标注或 AI 标注);(3) 更新奖励模型(用新数据继续训练,或从头训练);(4) 用更新后的 RM 继续 PPO 训练。这使 RM 的可靠区域跟随策略移动,从而 (a) 减少过优化、(b) 提供'更难'的偏好信号(因为当前策略的输出质量更高,区分它们需要更细致的偏好)、(c) 持续改进。与 online DPO 的关系——同样的思想可用于 DPO:用当前策略生成回答、标注偏好、做 DPO(称为 online/iterative DPO,如 SPIN、Iterative DPO);因为 DPO 假设偏好数据来自参考模型,故 on-policy 数据更符合假设。成本——迭代式的主要成本是反复的偏好标注(人工贵)与反复的采样/训练(算力);故 RLAIF(用 AI 标注) 使迭代式变得可行(成本大降)。实证——多个工作(如 Anthropic 的 iterative RLHF、Llama-2 的多轮 RLHF)显示迭代式优于单轮(在同等标注预算下)。迭代次数——通常 2~5 轮;过多则收益递减且成本上升(且可能'偏好信号同质化')。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'RM 跟随策略'是核心机制——它把'分布外不可靠'的问题转化为'持续把分布外变成分布内';这与'主动学习'(在模型不确定处采样标注)思想相通。② RLAIF 的关键作用——人工标注无法支撑高频迭代(成本与速度);用 AI(强模型)标注使'每次迭代都重新标注'变得可行;虽引入 AI 偏见,但可通过'AI + 人工抽检'平衡。③ '偏好数据的难度递进'——早期策略输出差异明显(易标注);后期输出都很不错(难标注,需更细致);故迭代式天然提供了'难度递进'的偏好信号。④ 与'数据效率'的关系——单轮 RLHF 的数据很快饱和(策略学会了其中的区分);迭代式持续提供新数据,故'每单位标注的价值'更高。⑤ 工程复杂度——迭代式需管理'多轮的数据、RM 版本、模型 checkpoint',流程复杂;故实践中常'先做单轮(简单),效果不足再迭代'。⑥ 面试要点——被问'为什么要迭代式 RLHF',应给出'单轮会因 RM 固定而过优化 → 迭代式让 RM 跟随策略 → 缩小分布外区域',并说明'RLAIF 使迭代可行'与'通常 2~5 轮';能指出'偏好数据难度递进'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    单轮 RLHF 就期望达到最优(RM 会过优化)
  • ✕
    忽略迭代式对标注成本的放大
🎯 面试官连环追问与延伸考察
  • ?
    迭代式 RLHF 的成本主要在哪?
  • ?
    迭代多少次合适?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-039: 解释 PPO 在 LLM 中的实现细节(token-level vs sequence-level)。📋 返回题库下一题 →M5-041: 解释 Constitutional AI 与 RLAIF。