DPO Family (DPO / KTO / ORPO): 解释 DPO 的长度偏置与长度控制方法。

Core Concept: log π(y) 是逐 token 求和，长回答天然 log-prob 更低，DPO 倾向更长输出；用长度归一化/惩罚/数据平衡修正。

数学机理：<strong>长度偏置的根源</strong>——语言模型的 log π(y|x)=Σ_t log π(y_t|x,y_{<t}) 是<strong>逐 token 对数概率之和</strong>；每个 token 的 log-prob 都是负数，故<strong>序列越长、log π 越负</strong>。DPO 的隐式奖励是 β·log(π_θ/π_ref)（两个 log-prob 之差），虽然'差值'部分抵消了长度效应，但<strong>不完全抵消</strong>（因为 π_θ 与 π_ref 的长度分布不同）。具体地：若模型学会'生成更长的回答'，则 π_θ 对长回答的 log-prob 会相对提高（而 π_ref 不变），使 log-ratio 上升——即<strong>通过变长来提升隐式奖励</strong>。故 DPO 训练后输出倾向<strong>变长</strong>（实证中普遍观察到'越训越长'）。<strong>修正方法</strong>：(1) <strong>长度归一化</strong>——用<strong>平均</strong>对数概率替代求和：r̂=(β/|y|)·log π_θ(y|x)（SimPO 的做法）；这使不同长度的回答可比，从根本上消除长度效应。(2) <strong>长度惩罚</strong>——在奖励中减去 λ·|y|（或加在损失中），显式惩罚长度；简单但需调 λ（过大会损害完整性）。(3) <strong>数据侧平衡</strong>——构造<strong>长度相近</strong>的偏好对（y_w 与 y_l 长度相当），使模型无法通过长度区分好坏。(4) <strong>长度控制的目标</strong>——在训练数据中显式包含'简洁 vs 冗长'的偏好（教模型'简洁更好'）。(5) <strong>推理时的长度控制</strong>——用 prompt 指示长度、或用长度约束解码。<strong>注意</strong>——长度本身<strong>不总是坏事</strong>（有些任务确实需要更长回答）；问题在于'模型为刷分而变长'（冗长化）。故目标是'让长度由任务决定，而非由奖励扭曲'。<strong>与 RLHF 的对比</strong>——PPO/RLHF 同样有长度偏置（因为 RM 学到'长=好'），但可用'长度惩罚项'直接加在奖励中；DPO 的长度偏置更隐蔽（在 log-ratio 中）。

深度剖析与工程权衡：① <strong>'越训越长'是 DPO 最普遍的现象</strong>——几乎所有 DPO 实践都观察到输出长度增长；故'监控输出长度'是 DPO 训练的必要指标。若不处理，最终会得到'冗长但信息密度低'的模型。② <strong>长度归一化的副作用</strong>——除以 |y| 后，'短回答'的每个 token 权重更大；若回答很短，可能被过度重视。故需注意极端长度样本。③ <strong>'长度惩罚'的度</strong>——惩罚太弱无效、太强则模型变得'过分简短'（丢失必要信息）；故需在验证集上平衡。④ <strong>与'数据侧修正'的优先级</strong>——数据侧修正（长度平衡的偏好对）是<strong>最根本</strong>的（消除偏置的来源）；损失侧修正（归一化/惩罚）是<strong>补充</strong>。故优先做数据侧。⑤ <strong>与'推理成本'的关系</strong>——输出变长直接增加推理成本（token 数）与延迟；故长度控制有经济价值。⑥ <strong>面试要点</strong>——被问'DPO 为什么越训越长'，应给出'<strong>log-prob 是逐 token 求和 → 长序列天然更低 → DPO 通过变长提升 log-ratio</strong>'的机制，并给出'<strong>长度归一化（SimPO）/ 长度惩罚 / 数据侧长度平衡</strong>'三类修正；能指出'数据侧修正最根本'是深度理解的标志。