DPO Family (DPO / KTO / ORPO): 解释 cDPO / RPO 等对噪声偏好数据的鲁棒性改进。

Core Concept: cDPO 对标签做平滑（假设标注有 ε 概率出错）；RPO 加 log-ratio 惩罚项防过度优化；都针对 DPO 的过拟合与噪声敏感。

数学机理：<strong>噪声来源</strong>——真实偏好数据必然含噪声：(a) <strong>标注错误</strong>（人类失误、理解偏差）；(b) <strong>AI 偏见</strong>（用 AI 标注时）；(c) <strong>主观模糊</strong>（两个回答质量相近，标注随机）。<strong>DPO 对噪声敏感的原因</strong>——DPO 的损失 −log σ(βh) 在 h 很大时仍有微小梯度，会<strong>把噪声标签也'推到底'</strong>（即对错误标注的偏好对也全力优化），导致模型学到错误偏好。<strong>两类改进</strong>：<strong>(1) cDPO（conservative DPO）</strong>——<strong>标签平滑</strong>：假设标注有 ε 的概率出错，把硬标签 (0/1) 平滑为 ((1−ε)·y + ε·(1−y))，即'正确标签给 1−ε、错误标签给 ε'。这使损失变为'对标签不确定的软目标'，从而 (a) 降低对单个噪声标签的信任度、(b) 防止'推到底'。<strong>直觉</strong>——与分类任务中的 label smoothing 一致（见 M3 的 label smoothing 题）。<strong>(2) RPO（Robust Preference Optimization）</strong>——在 DPO 损失上加<strong>惩罚项</strong>：L = L_DPO − λ·log(π_θ(y_w)/π_ref(y_w))（或对 log-ratio 的平方惩罚）。<strong>作用</strong>——惩罚项抑制'好回答的相对概率被推得过高'，从而 (a) 防止过度优化（h 过大）、(b) 缓解似然位移、(c) 降低对噪声的敏感（因为噪声样本的'极端优化'被抑制）。<strong>其他鲁棒变体</strong>——(a) <strong>IPO</strong>：用平方损失使目标有界（见 IPO 题）；(b) <strong>SLiC-HF</strong>：用 hinge 损失 + 校准项；(c) <strong>EXO</strong>：对偏好对的'胜率'做软目标；(d) <strong>数据侧的噪声处理</strong>：多标注者投票、异常检测、人工复核。<strong>共同主题</strong>——<strong>'DPO 的 sigmoid 损失在偏好满足后仍优化' 是噪声敏感与过度优化的共同根源</strong>；改进方向是'让目标有界'（IPO）、'平滑标签'（cDPO）、'加惩罚'（RPO）。<strong>实践建议</strong>——(a) 优先做<strong>数据侧去噪</strong>（多标注投票、异常检测）；(b) 若数据噪声不可避免，用 cDPO/RPO/IPO 等鲁棒变体；(c) 用验证集监控'偏好准确率 vs 生成质量'。

深度剖析与工程权衡：① <strong>'数据侧去噪优先于损失侧鲁棒化'</strong>——鲁棒损失只能'减轻'噪声影响，无法'消除'（若 30% 标签错，模型仍会学错）；故先用多标注者投票、异常检测等手段提升数据质量，再考虑鲁棒损失。这是'数据 > 算法'的体现。② <strong>cDPO 的 ε 需要估计</strong>——ε 是'标注错误率'，实践中未知；常取保守值（如 0.1）或用'标注者间不一致率'估计。③ <strong>RPO 惩罚项的方向</strong>——需注意惩罚哪一侧：惩罚 log π_θ(y_w)/π_ref(y_w) 过大（防好回答被过度推高）是常见做法；也有对两侧都加对称惩罚的变体。④ <strong>与'似然位移'的关系</strong>——RPO 的惩罚项直接缓解似然位移（因为它阻止 h 过大）；故 RPO 同时解决'噪声敏感'与'似然位移'两个问题。⑤ <strong>'偏好数据质量'的度量</strong>——可用 (a) 标注者间一致性（κ）、(b) '偏好与奖励模型不符'的比例、(c) 人工抽检准确率；这些指标指导是否需鲁棒化。⑥ <strong>面试要点</strong>——被问'偏好数据有噪声怎么办'，应给出'<strong>先数据侧去噪（投票/异常检测）+ 损失侧鲁棒化（cDPO 标签平滑 / RPO 惩罚项 / IPO 有界目标）</strong>'，并解释'<strong>DPO 的 sigmoid 在满足偏好后仍优化是噪声敏感的根源</strong>'；能指出'数据侧优先'是深度理解的标志。