学习率调度

学习率调度 = 按预设计划在训练中改变学习率 $\eta_t$。四类主流策略: ① Warmup(线性预热): $\eta_t = \eta_{\max}\cdot\frac{t}{T_{\text{warm}}}$(t = 1…$T_{\text{warm}}$),从接近 0 线性升到峰值 $\eta_{\max}$;② 线性衰减: $\eta_t = \eta_{\max}\left(1 - \frac{t}{T}\right)$,从头到尾线性降到 0;③ 阶梯衰减(Step Decay): $\eta_t = \eta_0\gamma^{\lfloor t/s \rfloor}$,每 $s$ 步乘一次 $\gamma$(如每次 ×0.1),曲线呈台阶状;④ 余弦退火(Cosine Annealing): $\eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min})\left(1 + \cos\left(\frac{t}{T}\pi\right)\right)$——t=0 时 $\eta_0 = \eta_{\max}$、t=T 时 $\eta_T = \eta_{\min}$,在峰谷之间平滑下降、没有突变。大模型训练标配“warmup + 余弦”: 前 1%~5% 步线性升到峰值,再从峰值余弦平滑降到末端极小值。为什么需要 warmup: 训练初期 Adam 的 $v_t$ 只见过极少数梯度、$\hat{v}_t$ 很小,此时 $\eta/\sqrt{\hat{v}_t}$ 可能非常大,一步就能把参数“踢飞”(大批量、梯度噪声大时更危险);小学习率让矩估计与 BN/LN 统计量先稳定下来再提速。

所有 SOTA 大模型与 CNN 训练管线的标配组件;面试高频追问“warmup 的必要性”“余弦退火 vs 阶梯衰减”“学习率与 batch size 的关系(线性缩放规则)”。

固定学习率的两难——大 lr 前期收敛快但后期在极小值附近震荡甚至发散,小 lr 前期进展太慢;调度把“前期大步探索、后期小步精修”固化成确定性计划。余弦退火末端渐近到极小 lr,避免阶梯衰减的悬崖式掉速引发 loss 突跳,且平滑下降常收敛到更平坦的极小值(泛化更好)。线性缩放规则(Goyal 2017): batch size 翻倍时学习率也应约翻倍(更大 batch 的梯度噪声更小、等效步长可放大),但必须配合 warmup 使用,否则早期步长过大会发散。

检验攻克程度：针对「学习率调度」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。