M5-021M5: NLP 与大语言模型指令微调与 SFTEasy
⚡闪卡盲测➔掌握度:

解释损失掩码与序列打包(packing)的作用。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-022 →
📐 核心数学机理公式
mask: yt=−100 for prompt;pack: concat samples to fixed L + block-diagonal mask\text{mask}:\ y_t=-100\ \text{for prompt};\qquad \text{pack}:\ \text{concat samples to fixed }L\ +\ \text{block-diagonal mask}
⚡ 一句话直击要害答案
损失掩码让损失只算在回答上;打包把多条短样本拼成定长序列以提高利用率,需用注意力隔离防跨样本泄漏。

📌 核心要点提炼

  • •
    损失掩码:只监督回答,避免模型学'生成指令'
  • •
    打包:多条短样本拼成定长,减少 padding 浪费
  • •
    打包需注意力隔离(否则跨样本信息泄漏)

📐 数学机理与严密推导

数学机理:两个工程技巧。(1) 损失掩码(loss masking)——SFT 的输入是'指令 + 回答'的拼接,但损失只应算在回答部分:实现上把指令部分的 label 设为 −100(PyTorch 的 ignore_index),使交叉熵忽略这些位置。作用:(a) 让模型专注于'生成回答'(与推理行为一致);(b) 避免模型学会'生成用户指令'(否则会出现'自问自答')。与 chat template 配合——模板需明确标记'哪些是 assistant 的 token'(如特殊 token <|assistant|>),以便正确掩码。(2) 序列打包(sequence packing)——SFT 数据的长度差异极大(有的几十 token、有的几千);若按 batch 内最长序列 padding,则大量计算浪费在 padding 上(利用率可能只有 20%~50%)。打包的做法:把多条样本拼接成固定长度(如 4096)的序列,使每条序列都'填满';配合注意力隔离(block-diagonal mask,让每个样本只能关注自己内部)与位置编码重置(每个样本的位置从 0 开始),避免跨样本信息泄漏。收益——(a) 吞吐提升(减少 padding,利用率接近 100%);(b) 训练稳定性(固定长度便于批量);(c) 成本降低(同等数据量下步数更少)。注意点——(a) 打包改变了'注意力可见范围',必须正确设置 mask(否则模型会学到'跨样本依赖',表现为对拼接顺序敏感);(b) 损失掩码需逐样本设置(只监督各样本的回答部分);(c) 位置编码需重置(否则后一个样本的位置被'推远',影响长度泛化)。实证——打包可提升 SFT 吞吐 2~3 倍,是工业界 SFT 的标准做法。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '打包必须配隔离'是易错点——朴素拼接会让模型看到前一个样本的内容(信息泄漏),导致 (a) 训练-推理不一致(推理时没有前文)、(b) 模型可能学会'续写上一样本';(c) 位置编码混乱。故实现时必须用 block-diagonal mask + 位置重置。② 与'padding 效率'的量化——若样本长度分布偏斜(多数短、少数长),朴素 padding 的利用率可能低至 20%;打包可把它提到 >90%。这是'数据管道优化'带来的直接成本收益。③ 打包与'多轮对话'的兼容——多轮对话本身是一条长序列(含多轮),不应被拆散打包;故需按'对话为单位'打包(每条对话是一个不可分割的样本)。④ 损失掩码与'训练目标'的关系——若想让模型学会'多轮中每轮都回应',则需对所有 assistant 轮都算损失;若只关心最后一轮,则只算最后一轮。这决定模型的多轮行为。⑤ 与其他 SFT 技巧的组合——打包常与 (a) 动态 batch(按 token 数而非样本数组批)、(b) 梯度累积、(c) 序列长度课程 配合使用。⑥ 面试要点——被问'SFT 训练效率怎么优化',应给出'序列打包(减少 padding)+ 注意力隔离 + 位置重置 + 动态 batch'的组合,并强调'打包必须配隔离否则泄漏';能说明'损失掩码防止自问自答'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    打包时不加注意力隔离(跨样本信息泄漏)
  • ✕
    对指令部分也计算损失
🎯 面试官连环追问与延伸考察
  • ?
    打包时为什么需要注意力隔离?
  • ?
    打包与'损失掩码'如何配合?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-020: 解释 SFT 的目标与数据构造要点。📋 返回题库下一题 →M5-022: 解释 SFT 中的灾难性遗忘与缓解。