M5-013M5: NLP 与大语言模型预训练目标与数据Medium
⚡闪卡盲测➔掌握度:

解释预训练数据的领域配比与退火阶段(annealing)的作用。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-014 →
📐 核心数学机理公式
anneal: wmath/code↑, η↓ in the last 5% steps\text{anneal}:\ w_{\text{math/code}}\uparrow,\ \eta\downarrow\ \text{in the last }5\%\ \text{steps}
⚡ 一句话直击要害答案
领域配比决定能力分布;退火阶段在训练末尾用高质量/领域数据并降 lr,低成本地强化目标能力。

📌 核心要点提炼

  • •
    配比:各领域权重决定能力分布(代码/数学/多语言)
  • •
    退火:末尾用小比例步数 + 高质量数据 + 降 lr
  • •
    收益:低成本提升特定能力(数学/代码/长上下文)

📐 数学机理与严密推导

数学机理:领域配比(domain mixture)——预训练语料由多个域组成(网页、书籍、论文、代码、数学、多语言),各域的采样权重 w_d 决定模型的能力分布。配比的影响是非直觉的:(a) 提高代码权重不仅提升代码能力,还提升通用推理(代码含结构化逻辑与长程依赖);(b) 提高数学权重提升数学与符号推理;(c) 网页权重过高会使模型'通用但浅';(d) 多语言权重影响跨语言能力。配比需实验搜索——常用小规模消融(在小模型上试多组配比、选最优再放大),或用 DoReMi(用参考模型与代理模型的最坏情况超额损失自动搜索域权重,保证在各域上都不劣于参考分布)。退火阶段(annealing / decay phase)——在训练末尾的一小段步数(如总步数的 5%~20%)做两件事:(1) 数据切换——用高质量/目标领域数据(数学、代码、指令、长文本);(2) 学习率衰减——lr 快速降到接近 0。为什么有效——(a) 低成本(只占总步数的小部分,但影响最终权重);(b) '精炼'效应——低 lr 阶段模型从'探索状态'收敛到极小值,此时用高质量数据可让最终解'偏向'该能力(类似'最后阶段的数据决定模型落在哪个盆地');(c) 与 WSD 调度的配合(WSD 的 decay 段天然适合放退火数据)。实证——多个工作(如 LLaMA 系、以及'data annealing'专门研究)报告:在退火阶段加入目标领域数据可显著提升该领域指标(如数学 +5~10 分),而对其他领域影响很小。退火数据量——通常为几亿到几十亿 token(相对总预训练量很小),但需高质量且与目标能力对齐。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '退火'是性价比最高的能力调优手段——它只改最后 5%~20% 的数据与 lr,成本极低但收益明确;相比'从头调整配比重训'(成本 100%),退火是'用最小代价定向强化能力'。故实践中优先做退火。② 退火与 SFT 的边界——退火仍在预训练框架内(用 CLM 目标、在大量数据上),而 SFT 是单独阶段(用指令格式、少量数据);两者可叠加(先退火强化基础能力,再 SFT 教格式)。③ '数据决定盆地'的直觉——训练末尾的低 lr 阶段,模型从探索状态收敛;此时数据分布决定了'收敛到哪个极小值'。这与'高 lr 探索、低 lr 精炼'的 WSD 理论一致。④ 配比搜索的成本——完整搜索配比需多次预训练(昂贵);故用'小模型代理 + 最优搜索'(DoReMi)或'在退火阶段做配比实验'(便宜)来近似。⑤ 长上下文的退火——长上下文能力常通过'末尾用长文本数据退火 + 位置编码缩放调整'获得;这是'低成本获得长上下文'的常用手段(相比全程用长序列训练)。⑥ 面试要点——被问'如何提升模型的数学能力',应给出'提高数学配比(需消融搜索)+ 末尾退火(高质量数学数据 + 降 lr)',并说明'退火是性价比最高的手段';能解释'为什么末尾数据决定最终解'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    忽略退火阶段(错失低成本能力调优机会)
  • ✕
    退火阶段用低质量数据(反而损害)
🎯 面试官连环追问与延伸考察
  • ?
    为什么退火数据要用更低的 lr?
  • ?
    退火阶段应该放多少数据?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-012: 解释数据污染(contamination)与它对评测可信度的影响。📋 返回题库下一题 →M5-014: 写出 Kaplan 与 Chinchilla 的核心结论。