M5-020M5: NLP 与大语言模型指令微调与 SFTEasy
⚡闪卡盲测➔掌握度:
解释 SFT 的目标与数据构造要点。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
SFT 用(指令,回答)对做监督微调,教会模型'按指令作答'的格式与风格;数据需多样、高质量、格式一致。
📌 核心要点提炼
- •目标:学会'指令→回答'的映射(格式、风格、任务)
- •只对回答部分算损失(指令部分掩码)
- •数据要点:多样性、质量、难度分布、格式一致性
📐 数学机理与严密推导
数学机理:SFT(Supervised Fine-Tuning) 用(指令 x,回答 y)对,以自回归交叉熵微调模型:L_SFT=−Σ_{t∈response} log p_θ(y_t|x, y_{<t})。注意损失只算在回答部分(指令部分被 mask 掉)——因为目标是'学会生成回答',而非'学会生成指令';若对指令也算损失,会让模型倾向于'生成指令'(与推理时的行为不一致)。SFT 的作用:(a) 格式对齐——教会模型'按指令组织回答'(如'先分析后结论'、markdown 格式、角色扮演);(b) 任务激活——把预训练学到的知识'引导'到目标任务上(预训练是'续写',SFT 是'遵循指令');(c) 风格与安全——学会礼貌、拒绝有害请求、承认不确定性。数据构造要点:(a) 多样性——覆盖任务类型(问答/摘要/代码/翻译/推理)、难度、长度、语言、领域;多样性比数量更关键(少量多样数据常优于大量单一数据,如 LIMA 的'1000 条'发现);(b) 质量——回答应正确、完整、格式规范;低质量数据会教会模型'胡说';(c) 难度分布——混合简单与困难样本(全简单则学不到能力,全难则学不稳);(d) 格式一致性——用统一的 chat template(否则模型学到矛盾的格式);(e) 规模——从数千条(LIMA 风格)到数百万条(工业界);关键不是量而是'覆盖度与质量'。其他要点——(f) 去重与污染检查(避免测试集泄漏);(g) 长度控制(避免过长/过短);(h) 拒绝样本(教模型拒绝不当请求)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '少量高质量 > 大量低质量'——LIMA(Zhou 等 2023)用 1000 条精心构造的数据达到与大量数据相当的效果;这说明 SFT 的主要作用是'激活与对齐格式',而非'注入知识'(知识来自预训练)。故数据质量与多样性优先于数量。② 只对回答算损失的实现——需用 chat template 与 label masking(把指令部分的 label 设为 −100 忽略);这是 SFT 实现的标准做法(若实现错误会导致模型学会'生成用户指令',表现为'自问自答')。③ SFT 与 RLHF 的分工——SFT 教'格式与基本行为'(模仿),RLHF/DPO 教'偏好与质量'(优化);SFT 是 RLHF 的前提(RLHF 需要一个'会说人话'的起点),但 SFT 本身不能超越'演示数据的质量上限'(模仿学习的天花板)。④ 数据来源——(a) 人工标注(高质量但贵);(b) 强模型蒸馏(便宜、可扩展,但同质化风险);(c) 开源数据集(便利但质量参差);(d) 合成 + 验证(对可验证任务质量可控)。⑤ 多轮对话的构造——需构造多轮历史(含上下文依赖),且损失通常只算最后一轮或所有 assistant 轮;这影响模型的多轮能力。⑥ 面试要点——被问'SFT 怎么做',应给出'只对回答算损失 + 数据四要点(多样/质量/难度/格式)'与'少量高质量可优于大量低质量(LIMA)';能说明'SFT 是模仿学习、有演示数据上限'与'它是 RLHF 的前提'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕对指令部分也算损失(导致模型自问自答)
- ✕认为 SFT 数据越多越好(质量与多样性更关键)
🎯 面试官连环追问与延伸考察
- ?为什么只对回答算损失?
- ?SFT 数据量需要多少?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!