DPO Family (DPO / KTO / ORPO): 解释偏好数据的构造与质量控制。

Core Concept: 偏好对需同一 prompt 的多个回答 + 人工/AI 比较；质量受标注一致性、长度偏差、AI 偏见影响，需去噪与平衡。

数学机理：<strong>偏好数据的构造流程</strong>——(1) <strong>生成候选</strong>——对同一 prompt 用模型（或多人）生成<strong>多个回答</strong>（通常 2~4 个）；(2) <strong>比较标注</strong>——让标注者（人类或 AI）判断'哪个更好'（pairwise）或'排序'（listwise）；(3) <strong>形成偏好对</strong>——得到 (x, y_w, y_l)。<strong>质量控制的关键维度</strong>：(a) <strong>标注一致性（agreement）</strong>——用<strong>标注者间一致性</strong>（如 Cohen's κ）衡量；一致性低说明任务定义模糊或标注者能力参差。提升：明确标注指南、多标注者投票（多数决）、剔除低一致性标注者。(b) <strong>长度偏差</strong>——标注者倾向'更长更好'；修正：(i) <strong>在标注指南中明确'忽略长度'</strong>；(ii) <strong>构造长度平衡的偏好对</strong>（刻意让 y_w 与 y_l 长度相近）；(iii) <strong>长度分层采样</strong>（保证各长度区间都有样本）。(c) <strong>多样性</strong>——若候选都由同一模型生成，则偏好对的分布单一；提升：多模型/多温度生成、多来源 prompt。(d) <strong>去偏（debiasing）</strong>——(i) <strong>位置偏差</strong>（A/B 顺序影响判断）→ 随机化顺序、双向标注；(ii) <strong>风格偏差</strong>（偏好特定格式）→ 多样化格式；(iii) <strong>AI 偏见</strong>（用 AI 标注时）→ 多模型投票、人工抽检。(e) <strong>难度分布</strong>——混合'容易区分'与'难以区分'的对；过易的对（差距悬殊）提供的信号少。(f) <strong>去噪</strong>——(i) 多标注者投票（取多数）；(ii) 异常检测（如'偏好与奖励模型严重不符'的对）；(iii) 人工复核抽样。<strong>规模与质量的权衡</strong>——(a) <strong>少量高质量</strong>（人工精标）适合核心能力；(b) <strong>大量 AI 标注</strong>适合规模扩展（但需去偏）；(c) <strong>混合</strong>是常态。<strong>与 DPO/RLHF 的关系</strong>——数据质量直接决定对齐上限（尤其对 DPO，因为无在线探索）；故'数据质量 > 数据量'在偏好学习中同样成立。

深度剖析与工程权衡：① <strong>'长度平衡'是最容易忽视也最有效的修正</strong>——若偏好对中 y_w 系统性地比 y_l 长，则模型学到'长=好'；通过刻意构造'长度相近'的对，可从数据侧消除这一偏差。这比'在损失中加长度惩罚'更根本。② <strong>'位置偏差'必须处理</strong>——人类标注者对'A 还是 B'的顺序有系统性偏好（倾向选先出现的）；故必须随机化顺序或双向标注（同一对让不同标注者看到不同顺序）。③ <strong>AI 标注的偏见</strong>——AI 标注者（尤其是被 RLHF 过的模型）可能有'风格偏好'（如偏好 markdown、偏好礼貌）；需多模型投票 + 人工抽检 + 与人类偏好对齐验证。④ <strong>'难度'的价值</strong>——'差距悬殊'的偏好对（明显好/明显坏）提供的梯度信号弱（模型已能区分）；'难以区分'的对（两个都不错但一个略好）提供更精细的信号。故应<strong>主动收集难例</strong>（如用模型生成多个高质量回答）。⑤ <strong>与'标注指南'的关系</strong>——偏好标注需要<strong>明确的指南</strong>（什么是'更好'？有用 vs 无害如何权衡？）；指南质量直接决定一致性。这是'对齐规范'的实操层面。⑥ <strong>面试要点</strong>——被问'偏好数据怎么造'，应给出'<strong>生成候选 → 比较标注 → 偏好对</strong>'流程与'<strong>一致性/长度平衡/多样性/去偏/难度/去噪</strong>'六个质量维度，并强调'<strong>长度平衡与位置偏差</strong>是最易忽视的修正'；能指出'难例比易例价值更高'是深度理解的标志。