M5-029M5: NLP 与大语言模型指令微调与 SFTMedium
⚡闪卡盲测➔掌握度:

解释 SFT 数据来源的选择与各自取舍(人工 / 强模型蒸馏 / 开源 / 合成+验证)。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-030 →
📐 核心数学机理公式
quality×scale×cost−1 tradeoff across sources\text{quality}\times\text{scale}\times\text{cost}^{-1}\ \text{tradeoff across sources}
⚡ 一句话直击要害答案
人工质量最高但贵且慢;强模型蒸馏可扩展但有同质化与合规风险;开源便利但质量参差;合成+验证对可验证任务最优。

📌 核心要点提炼

  • •
    人工:质量最高、可控,但贵慢、规模受限
  • •
    强模型蒸馏:便宜可扩展,但同质化 + 许可/合规风险
  • •
    开源数据集:便利,但质量与格式参差、需清洗
  • •
    合成+验证:可验证任务质量可控(数学/代码)

📐 数学机理与严密推导

数学机理:四类来源的三角权衡(质量 × 规模 × 成本)。(1) 人工标注——由专家撰写(指令,回答)对。优点:质量最高、可精确控制(覆盖特定能力、风格、安全要求)、可保证正确性。缺点:贵(每条约数美元到数十美元)、慢(无法快速扩展)、标注者能力参差。适用:核心能力的高质量种子数据、安全关键数据、评测集。(2) 强模型蒸馏——用更强的模型(如闭源旗舰)生成指令数据。优点:便宜、快、可大规模扩展、质量通常不错。缺点:(a) 同质化(风格趋同、多样性下降);(b) 继承教师的偏见与错误;(c) 许可与合规风险(多数 API 的服务条款禁止'用输出训练竞争模型');(d) 能力上限受教师限制(学生难以超越教师)。适用:快速构建大规模指令数据(需注意合规)。(3) 开源数据集——使用公开的指令数据集(如 FLAN、OpenAssistant、UltraChat 等)。优点:免费、便利、有一定质量。缺点:质量与格式参差(需大量清洗与去重)、可能含错误与有害内容、可能污染评测集。适用:冷启动、补充多样性。(4) 合成 + 验证——对可验证任务(数学、代码、形式化)用程序生成题目 + 自动验证答案。优点:质量可控(只有正确答案进入训练)、可无限扩展、覆盖难度可调。缺点:只适用可验证任务;生成的问题可能模式化(多样性不足)。适用:数学/代码等推理任务(这是当前推理模型数据的主力)。组合策略——实践中混合使用:(a) 少量人工数据保证质量与安全;(b) 强模型蒸馏扩大规模(注意合规);(c) 开源数据补充多样性;(d) 合成+验证强化推理能力;(e) 全部经过统一格式转换 + 去重 + 质量过滤 + 污染检查。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '混合是必然'——单一来源都有明显缺陷;工业界的 SFT 数据几乎都是多来源混合(如'人工 5% + 蒸馏 40% + 开源 30% + 合成 25%')。关键是统一格式、去重、质量过滤。② 合规风险是现实约束——用闭源 API 的输出训练模型通常违反服务条款;这促使'用开源强模型蒸馏'或'合成+验证'成为更安全的选择。面试中能提到这点会显得专业。③ '数据多样性'比'数据量'重要——强模型蒸馏的数据虽然多,但风格单一;故需用 (a) 多教师、(b) 多种 prompt 模板、(c) 温度调节、(d) 混入开源数据 来提升多样性。④ 污染检查不可省略——开源与合成数据都可能含评测集内容;必须做 n-gram 重叠检测(见污染题)。⑤ 与'数据配比'的衔接——来源选择解决'从哪来',配比解决'各占多少'(见配比题);两者共同决定 SFT 效果。⑥ 面试要点——被问'SFT 数据从哪来',应给出'四类来源 × 质量/规模/成本三角权衡'与'混合 + 统一格式 + 去重 + 污染检查'的工程流程,并主动提到'强模型蒸馏的合规风险';这是'有实战经验'的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只用开源数据不做清洗与去重
  • ✕
    忽略强模型蒸馏的服务条款合规风险
🎯 面试官连环追问与延伸考察
  • ?
    为什么强模型蒸馏有合规风险?
  • ?
    如何组合多种来源?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-028: 解释拒绝采样微调(RFT / STaR)的机制与作用。📋 返回题库下一题 →M5-030: 描述 RLHF 的三阶段流程。