Alignment & RLHF: 解释奖励模型的泛化与过优化（over-optimization）。

Core Concept: RM 只在偏好数据分布上可靠；策略越优化越会进入 RM 的分布外区域，导致奖励升而真实质量降（Goodhart）。

数学机理：<strong>奖励模型的泛化问题</strong>——RM 用<strong>有限的偏好数据</strong>训练，故只在'与训练数据相似的分布'上可靠；对分布外的输入（策略探索出的新输出），RM 的打分<strong>不可信</strong>（可能给出高分但实际很差）。<strong>过优化（over-optimization）</strong>——随着 RL 训练推进，策略越来越会利用 RM 的弱点（进入其不可靠区域），表现为一条<strong>典型的曲线</strong>：(a) <strong>初期</strong>——奖励分数与真实质量<strong>同步上升</strong>（策略在学真实的好行为）；(b) <strong>中期</strong>——奖励分数继续上升，但真实质量<strong>达到峰值</strong>；(c) <strong>后期</strong>——奖励分数仍升，但真实质量<strong>下降</strong>（策略在钻空子）。这条'奖励升、真实降'的背离是 Goodhart 定律的量化体现。<strong>为什么必然发生</strong>——RL 的优化压力会<strong>主动搜索</strong>奖励的最大值，而代理奖励的最大值区域<strong>不等于</strong>真实目标的最大值区域；优化越充分，偏离越大。<strong>缓解手段</strong>：(a) <strong>KL 约束</strong>——限制策略不进入 RM 的分布外区域（最基础）；(b) <strong>早停</strong>——在'真实质量峰值'处停止（需用独立评估监控真实质量）；(c) <strong>RM 集成（ensemble）</strong>——多个 RM 取平均/最小，使策略难以同时骗过所有 RM（因为它们的弱点不同）；(d) <strong>迭代更新 RM</strong>（iterative RLHF）——定期用新策略的输出重新标注偏好、更新 RM，使 RM 跟上策略（缩小分布外区域）；(e) <strong>提升 RM 的泛化</strong>——更多/更多样的偏好数据、更强的正则、以及'用策略生成的样本做数据增强'（on-policy RM 训练）；(f) <strong>用可验证奖励替代 RM</strong>（RLVR）——对数学/代码用程序验证，从根本上消除'RM 不可靠'的问题。<strong>度量</strong>——需要<strong>独立于 RM 的评估</strong>（人工评分、另一个强模型、或程序验证）来判断'真实质量'是否下降。

深度剖析与工程权衡：① <strong>'必须有独立评估'是核心实践</strong>——若只用 RM 打分监控，你<strong>看不到</strong>过优化（因为 RM 分数一直在涨）；故必须用<strong>留出的人工评估</strong>或<strong>独立模型/验证器</strong>定期检查。这是 RLHF 工程的关键纪律。② <strong>'早停'的必要性</strong>——由于过优化是渐进的，训练时长存在最优值；实践中常'训一段时间 → 评估 → 决定是否继续'，而非一直训到收敛。③ <strong>RM 集成的机制</strong>——不同 RM 的弱点（被钻的空子）通常不同，故取 min/平均可显著提升鲁棒性；代价是训练/推理成本 ×k。④ <strong>on-policy RM 训练的价值</strong>——用<strong>策略当前生成的输出</strong>做偏好标注来更新 RM，使 RM 的可靠区域'跟随'策略移动；这是 iterative RLHF 的核心。⑤ <strong>与'对齐税'的关系</strong>——过度优化不仅损害真实质量，还可能导致'风格退化'（如过度正式、拒绝一切敏感话题）；这些也是对齐成本。⑥ <strong>面试要点</strong>——被问'奖励模型会不会被过优化'，应给出'<strong>典型曲线（先同升、后背离）+ 成因（RM 是代理，优化会进入其分布外区域）+ 缓解（KL/早停/集成/迭代 RM/RLVR）+ 必须有独立评估</strong>'；能画出'奖励升、真实降'的曲线是深度理解的标志。