对齐税与偏好数据

对齐税 (Alignment Tax) 指对齐训练(RLHF/DPO 等)在提升有帮助性、无害性的同时,可能损害模型部分能力(数学、代码、长尾知识、输出多样性、创造力)的现象,可量化为能力基准上的相对回退 $\text{Tax}(B) = \frac{S_{\text{base}}(B) - S_{\text{aligned}}(B)}{S_{\text{base}}(B)}$;偏好数据 (Preference Data) 是 RLHF/DPO 等方法的核心燃料——由标注者(或 AI 评审)在多个回答间选择更优者构成 chosen/rejected 对比对,其规模、质量与分布决定了对齐效果的上限。典型缓解:控制 KL 惩罚系数与数据配比、多目标加权、在能力基准上做回归检查。

对齐方法选型与强度权衡(多大 KL 惩罚、多少偏好数据)、偏好数据 pipeline 设计(众包标注、RLAIF 合成、标注一致性评估)、模型发布前的能力回归检查(对齐前后基准分数对比)。

对齐不是免费的——无节制地追求偏好分数会导致能力回退,需要度量与缓解;同时“垃圾进垃圾出”,偏好数据的噪声与偏差会直接传导为对齐后的模型缺陷,决定效果天花板。

检验攻克程度：针对「对齐税与偏好数据」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。