M5-023M5: NLP 与大语言模型指令微调与 SFTMedium
⚡闪卡盲测➔掌握度:

解释 CoT 蒸馏的作用与风险。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-024 →
📐 核心数学机理公式
CoT distill: y=(step1,…,stepk,answer);risk: format-only imitation\text{CoT distill}:\ y=(\text{step}_1,\dots,\text{step}_k,\text{answer});\qquad \text{risk}:\ \text{format-only imitation}
⚡ 一句话直击要害答案
用强模型的推理轨迹(含中间步骤)做 SFT,可显著提升小模型的推理;风险是'模仿格式而非能力'与错误继承。

📌 核心要点提炼

  • •
    做法:用强模型生成含推理步骤的回答做 SFT
  • •
    收益:小模型推理能力显著提升(远优于只用答案)
  • •
    风险:学到格式而非能力、继承教师错误、长度膨胀

📐 数学机理与严密推导

数学机理:CoT 蒸馏——用强模型(教师)生成含中间推理步骤的回答('先分析…再计算…最后答案'),把这些轨迹作为 SFT 数据训练小模型(学生)。为什么有效:(a) 提供了推理的'过程监督'——只学'问题→答案'时,模型需自己发现推理路径(很难);学'问题→步骤→答案'时,模型直接模仿推理的格式与步骤分解,大大降低了学习难度;(b) 激活了预训练中的推理能力——预训练已包含大量推理文本,CoT 数据提供了'如何组织推理'的示范;(c) 实证——多个工作(如 Orca、以及各类'蒸馏推理模型')显示:用含 CoT 的教师输出做 SFT,小模型的推理能力显著优于只用答案的 SFT,甚至可接近教师(在特定基准上)。风险:(a) 学到'格式'而非'能力'——学生可能学会'输出推理步骤的格式'(看起来在思考),但推理的正确性并未真正提升('假装推理');在分布外的问题上会暴露;(b) 继承教师错误——教师的错误推理被学生学去并放大;(c) 长度膨胀——学生学会'写很长的推理'(因为教师输出长),导致推理成本上升且可能'过度思考';(d) 同质化——单一教师的推理风格被复制,学生缺乏多样性;(e) 对不可验证任务的失效——数学/代码可验证(能筛掉错误轨迹),但写作/开放推理难以验证,风险更高。缓解:(a) 只保留正确轨迹(对可验证任务用答案校验过滤);(b) 多教师混合(增加多样性);(c) 长度控制(过滤过长/冗余的推理);(d) 配合 RL(先用 CoT 蒸馏冷启动,再用 RLVR 优化真实正确率——这是当前推理模型的标准配方);(e) 过程奖励(用 PRM 评估推理步骤质量)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'CoT 蒸馏 + RLVR'是当前推理模型的标准配方——CoT 蒸馏提供'会推理的格式'(冷启动),RLVR 用可验证奖励优化'推理的正确性';两者互补(前者教格式、后者教正确)。仅有 CoT 蒸馏会出现'格式对但答案错'。② '格式 vs 能力'的区分方法——在分布外任务上测学生的推理正确率;若格式漂亮但正确率不升,说明只学到格式。这是评估 CoT 蒸馏效果的关键。③ 教师质量的天花板——学生的上限受教师(以及筛选标准)限制;若教师在某些任务上弱,学生也弱。故'多教师 + 按任务选择教师'可提升上限。④ 长度膨胀的代价——推理长度直接决定推理成本(token 数);故'用更短的推理达到同等正确率'是有价值的目标(有'长度惩罚'、'简洁 CoT'等方向)。⑤ 与'拒绝采样微调(RFT)'的关系——RFT(rejection sampling fine-tuning)用模型自己生成多个答案、只保留正确的做 SFT;这是'自蒸馏'(无需强教师),且天然过滤错误(对可验证任务)。它与 CoT 蒸馏是同一思想的不同变体。⑥ 面试要点——被问'如何提升小模型的推理',应给出'CoT 蒸馏(教格式)+ 只保留正确轨迹 + 多教师 + 再用 RLVR 优化正确性'的配方,并指出'可能只学到格式而非能力'这一核心风险;能说明'CoT 蒸馏与 RFT 是同一思想'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只用教师的最终答案做 SFT(丢失推理过程)
  • ✕
    不过滤教师的错误轨迹
🎯 面试官连环追问与延伸考察
  • ?
    为什么 CoT 蒸馏比'只学答案'有效?
  • ?
    CoT 蒸馏与 RLVR 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-022: 解释 SFT 中的灾难性遗忘与缓解。📋 返回题库下一题 →M5-024: 解释 SFT 数据配比与多任务平衡。