M3-045M3: 深度学习基础学习率调度Medium
⚡闪卡盲测➔掌握度:

解释 WSD(warmup-stable-decay)调度为什么适合大模型预训练

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-046 →
📐 核心数学机理公式
ηt={η0t/Twt<Twη0Tw≤t<Tdη0f ⁣(t−TdT−Td)t≥Td\eta_t=\begin{cases}\eta_0 t/T_w & t<T_w\\ \eta_0 & T_w\le t<T_d\\ \eta_0 f\!\left(\frac{t-T_d}{T-T_d}\right) & t\ge T_d\end{cases}
⚡ 一句话直击要害答案
warmup 升温、stable 段恒定高 lr 长期探索、decay 段快速退火;stable 段可随时中断续训,decay 决定最终质量。

📌 核心要点提炼

  • •
    decay 段通常只占总步数的 10%~20%,却决定最终 loss
  • •
    stable 段可保存 checkpoint 后随时继续,无需预知总步数
  • •
    支持多轮'预训练→继续预训练→退火'的拼接流程

📐 数学机理与严密推导

数学机理:WSD 的理论基础来自'学习率与损失面探索'的研究(Hägele 等、以及 μP 系列的工作)。核心观察:高 lr 下模型持续处于'探索状态'——损失维持在一个较高的'平台'上,但模型在该平台上不断探索参数空间的不同区域;衰减段的作用是把参数从探索状态'精炼'到收敛状态——lr 快速下降时,参数被吸引到附近的一个极小值并精细收敛。关键发现是:只要在稳定平台上充分探索,最终的衰减段可以很短(10%~20% 步数)就能达到与全程 cosine 相当甚至更好的最终 loss。这解释了为什么'stable 段长 + decay 段短'的组合是高效的。此外,从参数轨迹看,decay 段的低 lr 相当于对 stable 段末期的多个'候选解'做了一次精炼选择。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 工程价值(最重要)——cosine 必须在训练前确定总步数 T,中途改 T 需重算曲线、且无法与已训练的 checkpoint 无缝衔接;WSD 的 stable 段可任意延长或截断,使'先训练一版、看效果、再决定继续训练'成为可能。这在算力预算不确定、需要多轮迭代的工业场景中极其关键。② 与 cosine 的实测对比——多个报告显示 WSD 与 cosine 最终质量相当,且 WSD 的 stable checkpoint 更'通用'(可作为后续 SFT/继续预训练的更好起点,因为它未被过度退火)。③ 多阶段训练——LLaMA-3 等采用'多轮 cosine/线性衰减'的拼接;WSD 的稳定段概念让'预训练 → 长上下文扩展 → 指令微调'的每段都有独立的 decay,避免早期退火锁定参数。④ decay 形状的选择——decay 段常用 linear 或 1−√ 形状(如 inverse sqrt);形状对最终 loss 有影响但不如'是否有 decay 段'重要。⑤ 与 batch size 的联动——stable 段的高 lr 需配合足够大的 batch 以控制噪声;否则高 lr 下的噪声会主导。⑥ 面试要点——若被问'你会怎么设计 100B token 的预训练调度',推荐 WSD 并给出理由(可续训 + 平台探索 + 短退火);这是体现工程判断力的高分回答。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 WSD 的 stable 段越长越好(需与算力预算平衡)
  • ✕
    忽略 decay 段形状与最终 lr 的取值
🎯 面试官连环追问与延伸考察
  • ?
    为什么 decay 段短也能达到好效果?
  • ?
    WSD 与 cosine 的最终质量对比如何?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-044: 如何诊断学习率是否合适?📋 返回题库下一题 →M3-046: 解释 One-Cycle / 循环学习率策略