M5-026M5: NLP 与大语言模型指令微调与 SFTMedium
⚡闪卡盲测➔掌握度:

解释 SFT 的学习率与训练轮数的选择。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-027 →
📐 核心数学机理公式
ηSFT≈10−5∼2×10−5≪ηpretrain;epochs=1∼3\eta_{\text{SFT}}\approx10^{-5}\sim2\times10^{-5}\ll\eta_{\text{pretrain}};\qquad \text{epochs}=1\sim3
⚡ 一句话直击要害答案
SFT 用远低于预训练的 lr(1e-5~2e-5)与极少 epoch(1~3);小数据需更低 lr 或更强正则,否则过拟合。

📌 核心要点提炼

  • •
    lr 远低于预训练(1e-5~2e-5 量级)
  • •
    epoch 极少(1~3),超过则过拟合 SFT 分布
  • •
    数据越少,lr 应越小、正则越强

📐 数学机理与严密推导

数学机理:为什么 lr 要小——SFT 数据量比预训练小 4~6 个数量级;若用预训练级别的大 lr,模型会在少量数据上剧烈更新,迅速过拟合(表现为验证 loss 先降后升、通用能力退化、输出模板化)。故 SFT 的 lr 通常取 1e-5~2e-5(全参微调),甚至更低(如 5e-6)。为什么 epoch 要少——SFT 数据重复多次会让模型'记住'具体样本(而不是学到泛化的'指令遵循'),故标准是 1~3 epoch;数据量越大,epoch 应越少(大数据的 1 epoch 已提供足够信号)。与数据量的关系——(a) 数据极少(<1k)时,需更小的 lr(如 1e-5)与更强正则(dropout、weight decay),或改用 LoRA;(b) 数据较多(>100k)时,可用稍大 lr 与 2~3 epoch。LoRA 的差异——LoRA 只训练少量参数(低秩增量),其有效更新幅度受秩与缩放限制,故可用更大的 lr(常 1e-4~2e-4,比全参高一个量级);但同样需控制 epoch(1~3)。监控指标——(a) 验证 loss(在留出集上;若上升则过拟合);(b) 通用基准(检测遗忘);(c) 输出多样性(检测僵化);(d) 训练 loss 与验证 loss 的差距(gap 大则过拟合)。其他影响因素——(a) warmup(SFT 通常短 warmup 或不用);(b) lr 调度(cosine 衰减到 0);(c) batch size(大 batch 可用稍大 lr);(d) 数据质量(高质量数据可容忍更多 epoch)。经验法则——'先用小 lr + 1 epoch 建立基线,再逐步增加,同时监控验证指标'。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '1~3 epoch'是硬经验——这是 SFT 最容易被违反的规则(初学者常训 10+ epoch);结果是模型严重过拟合、输出僵化、通用能力退化。故面试中'epoch 数'是检验实践经验的好问题。② '小数据要更小 lr'的反直觉——直觉上'数据少应该多训',但实际是'数据少更容易过拟合,故应更保守(小 lr + 强正则)'。这是'过拟合风险与数据量反比'的体现。③ LoRA lr 更大的原因——LoRA 的参数量少(如 0.1%),故单步更新影响的'有效容量'小;用更大 lr 补偿。但这也意味着 LoRA 对 lr 更敏感(过大则发散)。④ 与'预训练 lr'的量级对比——预训练 lr 常 1e-4~6e-4(大 batch 下);SFT 是它的 1/10~1/50。这个量级差异是'防止破坏预训练知识'的体现。⑤ 验证集的重要性——SFT 必须有留出的验证集(从同分布抽样);否则无法判断过拟合。工业界常用'人工评估 + 自动指标'双重验证。⑥ 面试要点——被问'SFT 的超参怎么设',应给出'lr 1e-5~2e-5(LoRA 可 1e-4+)+ epoch 1~3 + 数据越少越保守'与'验证 loss / 通用基准 / 输出多样性三重监控';能解释'小数据要更小 lr'的反直觉是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    SFT 训 10+ epoch(严重过拟合)
  • ✕
    不做验证集监控
🎯 面试官连环追问与延伸考察
  • ?
    如何判断 SFT 是否过拟合?
  • ?
    LoRA 的 lr 为什么要更大?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-025: 解释 SFT 与 RLHF/DPO 的分工。📋 返回题库下一题 →M5-027: 解释 chat template 与多轮对话的构造。