M5-027M5: NLP 与大语言模型指令微调与 SFTMedium
⚡闪卡盲测➔掌握度:

解释 chat template 与多轮对话的构造。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-028 →
📐 核心数学机理公式
tmpl: ⟨sys⟩…⟨user⟩…⟨assistant⟩… ;loss on assistant turns\text{tmpl}:\ \langle\text{sys}\rangle\dots\langle\text{user}\rangle\dots\langle\text{assistant}\rangle\dots;\qquad \text{loss on assistant turns}
⚡ 一句话直击要害答案
chat template 定义角色标记与格式;多轮数据需构造历史并决定损失落在哪些轮,格式不一致会损害指令遵循。

📌 核心要点提炼

  • •
    template 定义角色边界(system/user/assistant 的特殊 token)
  • •
    多轮需构造历史;损失通常算在所有 assistant 轮
  • •
    训练与推理必须用同一 template(否则性能崩塌)

📐 数学机理与严密推导

数学机理:chat template 的作用——把'角色 + 内容'的对话结构编码为模型可识别的 token 序列:通常用特殊 token 标记边界(如 <|system|>、<|user|>、<|assistant|>、<|end|>),并规定换行/空格等细节。为什么至关重要:(a) 模型靠这些标记区分'谁在说话'——若无标记,模型无法知道该'回答'还是'续写';(b) 训练-推理一致性——推理时必须用同一个 template;若训练用 A、推理用 B(如少了一个换行、角色名不同),模型会'看不懂'、性能急剧下降(这是部署中最常见的坑之一);(c) system prompt 的支持——system 角色需在 template 中显式定义,否则模型无法学到'遵循系统指令'。多轮对话的构造:(1) 历史拼接——把多轮历史按 template 拼接为一条长序列(system + user1 + assistant1 + user2 + assistant2 + ...);(2) 损失位置——通常对所有 assistant 轮都算损失(教模型'每轮都回应');也有只算最后一轮的变体(更接近'基于历史回答当前问题');(3) 上下文依赖——多轮样本能教模型'利用历史'(如指代消解、上下文延续),这是单轮数据学不到的;(4) 长度控制——多轮历史可能很长,需截断策略(保留最近 N 轮 / 保留 system + 最近若干轮);(5) 混入单轮数据——多轮数据(含大量历史)会让模型倾向于'长回答'或'依赖历史';故常混入单轮数据以平衡。其他要点——(a) 特殊 token 的 embedding(新增 token 需训练);(b) EOS 与截断(正确放置结束标记,否则模型不会停);(c) 训练数据的角色多样性(不同 system prompt、不同用户风格)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'template 不一致'是部署第一大坑——训练与推理的 template 差一个空格/换行,就可能导致质量显著下降;故工程上应 (a) 把 template 存为配置文件、(b) 训练与推理共享同一份代码、(c) 加一致性测试(对比训练时与推理时的 token 序列)。② 多轮 vs 单轮的配比——纯多轮数据会让模型过度依赖历史(在单轮场景表现差);纯单轮数据则学不到多轮能力。故需混合(如 50:50)。③ '损失算在哪些轮'的影响——算所有 assistant 轮会让模型'每轮都详细回应'(可能冗长);只算最后一轮更接近'问答'模式。选择取决于目标场景。④ 与'长上下文'的关系——多轮对话天然需要长上下文能力;故多轮 SFT 常与长上下文训练配合(否则历史被截断)。⑤ system prompt 的训练——若训练数据中 system prompt 单一(或缺失),模型学不会'遵循多样化系统指令';故需多样的 system prompt(角色、风格、约束各不相同)。⑥ 面试要点——被问'多轮对话怎么做 SFT',应给出'chat template 定义角色边界 + 历史拼接 + 损失落在 assistant 轮 + 截断策略 + 单轮/多轮混合',并强调'训练与推理必须同 template'这一部署要点;能指出'多轮与单轮需混合'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    训练与推理用不同的 chat template
  • ✕
    只用多轮数据(单轮场景表现差)
🎯 面试官连环追问与延伸考察
  • ?
    为什么 template 不一致会严重损害性能?
  • ?
    多轮训练与单轮训练如何混合?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-026: 解释 SFT 的学习率与训练轮数的选择。📋 返回题库下一题 →M5-028: 解释拒绝采样微调(RFT / STaR)的机制与作用。