M5-022M5: NLP 与大语言模型指令微调与 SFTMedium
⚡闪卡盲测➔掌握度:
解释 SFT 中的灾难性遗忘与缓解。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
SFT 在小数据上微调会损害预训练的通用能力;用低 lr、少 epoch、混合通用数据、LoRA/正则缓解。
📌 核心要点提炼
- •表现:通用能力下降、语言多样性下降、重复输出
- •成因:小数据 + 高 lr + 多 epoch 使模型过拟合 SFT 分布
- •缓解:低 lr、1~3 epoch、混合通用数据、LoRA、KL 正则
📐 数学机理与严密推导
数学机理:灾难性遗忘(catastrophic forgetting) 指模型在学习新任务时丢失原有的能力。在 SFT 中表现为:(a) 通用能力下降(在未微调的任务上变差);(b) 语言多样性下降(输出风格趋同、模板化);(c) 重复与退化(倾向于复述 SFT 数据中的句式);(d) 知识遗忘(原有事实知识受影响)。成因——(a) 数据规模小(SFT 数据常是预训练的 1e-4~1e-6 量级),故模型容易过拟合到 SFT 分布;(b) 学习率高(相对预训练);(c) 多 epoch(SFT 通常只训 1~3 epoch,超过则严重过拟合);(d) 分布偏移大(SFT 的指令格式与预训练的'续写'分布差异大)。缓解手段:(a) 低学习率(常用 1e-5~2e-5,远低于预训练);(b) 少 epoch(1~3,并监控验证 loss);(c) 混合通用数据(在 SFT 数据中混入一定比例的预训练数据或通用指令数据,锚定原分布);(d) LoRA/PEFT(冻结基座、只训少量参数,天然缓解遗忘);(e) KL 正则(对基座模型的输出加 KL 惩罚,约束偏离);(f) 模型合并(把 SFT 模型与基座合并,或与通用模型合并);(g) 经验回放(rehearsal:混入原任务的样本)。检测方法——(a) 在通用基准(如 MMLU、常识推理)上测 SFT 前后的表现;(b) 测输出多样性(不同 prompt 的响应熵、n-gram 多样性);(c) 测困惑度(在通用文本上的 PPL 是否上升);(d) 人工评估'风格是否僵化'。权衡——'对齐'(学会指令)与'保持能力'(不遗忘)存在张力:SFT 越激进,对齐越强但遗忘越重;故需平衡(这也是'对齐税'的一种表现)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '数据规模比'是关键——SFT 数据量与预训练数据量相差 4~6 个数量级,故'过拟合'风险天然很高。这解释了为何'SFT 用 1~3 epoch、低 lr'是标准配置。② '混合通用数据'的实践——工业界常在 SFT 数据中混入 5%~30% 的预训练数据或通用指令数据;这能显著缓解遗忘(因为它把'预训练分布'重新注入)。这是最简单有效的缓解手段。③ LoRA 的天然优势——因为基座冻结,LoRA 微调的遗忘风险远低于全参微调;这使 LoRA 成为'快速适配而不伤原能力'的首选(尤其在领域适配)。④ '语言多样性下降'的产品影响——SFT 过度会导致所有输出风格趋同(如都以'当然!'开头),损害用户体验与创造力;故需在数据中保留风格多样性。⑤ 与 RLHF 的关系——RLHF 也有遗忘风险(尤其 KL 惩罚过小);故 RLHF 中的 KL 惩罚既是'防奖励黑客'也是'防遗忘'。⑥ 面试要点——被问'SFT 会遗忘吗',应给出'成因(数据小 + 高 lr + 多 epoch + 分布偏移)+ 缓解(低 lr/少 epoch/混合通用数据/LoRA/KL 正则/模型合并)+ 检测(通用基准/多样性/PPL)'的完整框架;能指出'混合通用数据'是最简单有效的手段是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕SFT 训很多 epoch(严重过拟合)
- ✕不做通用能力的回归测试(无法发现遗忘)
🎯 面试官连环追问与延伸考察
- ?为什么 SFT 会导致'语言多样性下降'?
- ?如何检测灾难性遗忘?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!