DPO Family (DPO / KTO / ORPO): 解释 SimPO 的改进点。

Core Concept: SimPO 去掉参考模型（用长度归一化的平均 log-prob 作为隐式奖励）并加目标奖励间隔 γ，更简单且抗长度偏置。

数学机理：<strong>SimPO 的两项改进</strong>。<strong>(1) 去掉参考模型</strong>——DPO 的隐式奖励是 β·log(π_θ/π_ref)，需维护参考模型；SimPO 直接用<strong>策略自身的平均对数似然</strong>作为隐式奖励：r̂(y|x)=(β/|y|)·log π_θ(y|x)。<strong>为什么可行</strong>——训练目标（偏好对）本身会'相对地'把好回答的似然推高、坏回答的推低，故<strong>不需要外部的参考基线</strong>；参考模型在 DPO 中的作用（提供'相对基线'与'防偏离'）被'长度归一化 + 间隔项'部分替代。<strong>优点</strong>——(a) 省一个模型（显存与计算）；(b) 训练更简单。<strong>(2) 长度归一化</strong>——DPO 的一个已知问题是<strong>长度偏置</strong>：因为 log π(y) 是'逐 token 对数概率之和'，长回答的 log-prob 天然更小（负得更多）；DPO 的 log-ratio 也会受长度影响，导致训练倾向于<strong>更长的回答</strong>（因为要'补偿'长度带来的 log-prob 下降）。SimPO 用 <strong>1/|y| 归一化</strong>（取平均对数似然而非求和），使不同长度的回答可比，从而<strong>缓解长度偏置</strong>。<strong>(3) 目标间隔 γ</strong>——在损失中减去一个常数间隔 γ：−log σ(β·(r̂_w − r̂_l) − γ)；这要求'好回答的奖励比坏回答高出至少 γ'，从而<strong>鼓励更大的奖励差</strong>（更明确的偏好信号），提升训练效果。<strong>实证</strong>——SimPO 在多个基准上优于 DPO，且训练更高效（无需参考模型）；但注意它<strong>牺牲了 DPO 的'KL 约束'性质</strong>（无参考模型意味着无显式的'防偏离'机制），故可能更容易'语言退化'（实践中需注意）。

深度剖析与工程权衡：① <strong>'长度归一化'是关键洞察</strong>——DPO 的'越训越长'问题部分源于 log-prob 的求和性质；用平均（除以长度）使奖励与长度解耦。这是'理解损失结构 → 修正偏差'的典型案例。② <strong>'无参考模型'的双刃</strong>——省显存与计算，但失去'防偏离参考模型'的机制；故 SimPO 可能更容易出现'语言退化'（输出不自然）与'遗忘'。实践中需用其他手段（如混入 SFT 损失、early stopping）补偿。③ <strong>与 DPO 的'防偏离'对比</strong>——DPO 的 log(π_θ/π_ref) 项天然限制'策略不偏离参考太远'（若偏离则 log-ratio 变大，被损失惩罚）；SimPO 无此项，故<strong>更依赖数据质量与早停</strong>。④ <strong>γ 的选择</strong>——γ 太大则要求过高的奖励差（可能无法满足、训练困难）；太小则无效果；需调参。⑤ <strong>'参考模型的作用'的再思考</strong>——它既是'KL 约束'（防偏离），也是'基线'（消去难度等混淆）；SimPO 去掉它意味着放弃'防偏离'、改用其他机制替代'基线'（长度归一化 + 间隔）。这体现了'设计取舍'。⑥ <strong>面试要点</strong>——被问'SimPO 的改进'，应给出'<strong>去掉参考模型（隐式奖励 = 平均 log-prob）+ 长度归一化（缓解长度偏置）+ 目标间隔 γ</strong>'，并指出'<strong>代价是失去 DPO 的防偏离机制</strong>'；能分析'DPO 为何会越训越长（log-prob 求和）'是深度理解的标志。