Learning Rate Schedules: 为什么需要 warmup？

Core Concept: 初始参数与随机初始化下梯度方向噪声大、Adam 二阶矩估计不可靠；warmup 用小 lr 让统计量收敛，避免早期发散。

数学机理：warmup 的两条独立动机。<strong>(1) Adam 统计量动机</strong>：v_t 是梯度平方的 EWMA，早期只见过很少的样本，估计方差极大；若此时用全 lr，则更新量 m̂/√v̂ 因 v̂ 估计不准而波动剧烈，可能单步走出很远、破坏参数。小 lr 让 v̂ 在'温和'的更新中积累足够样本后再放大步长。<strong>(2) 初始化动机</strong>：随机初始化的参数处，损失面通常陡峭且方向噪声大（不同 batch 的梯度方向差异显著）；大 lr 会放大这种噪声，导致参数被推向'坏区域'（如进入 ReLU 全负区、LN 统计失真区）。warmup 让优化器先'试探'方向，再加速。<strong>(3) 大 batch 动机</strong>：lr 随 batch 线性放大（见线性缩放规则），batch 越大 lr 越大，早期大步长的风险越高，故大 batch 更需要 warmup。定量上，warmup 步数常取总步数的 1%~5%（GPT-3 用约 375M token 的 warmup，占比极小但绝对步数不少）。

深度剖析与工程权衡：① <strong>现象诊断</strong>——若不做 warmup 而训练发散，典型表现是 loss 在前几百步先下降再突然爆炸（spike）；日志上可见 grad_norm 在早期剧烈波动。② <strong>与 μP 的关系</strong>——μP（最大更新参数化）通过让'每层更新量级与宽度无关'，使超参（含 warmup）可跨规模迁移；μP 下 warmup 的必要性降低（因为初始更新量级已被正确缩放）。③ <strong>warmup 形式</strong>——线性最常用；也有指数、常数+线性等；关键是<strong>不要</strong>在 warmup 期用大 lr。④ <strong>warmup-stable-decay</strong>——现代 LLM 常用 WSD 调度（见对应题），warmup 是其中第一段。⑤ <strong>与梯度裁剪的配合</strong>——warmup 与 grad clip 是'早期稳定性'的两道防线：前者限制步长、后者限制方向幅度，常同时使用。⑥ <strong>面试延伸</strong>——被追问'warmup 是否可以完全去掉'：在 μP + 小 lr + 强裁剪下可以大幅缩短甚至去掉，但在标准参数化下仍推荐保留。