学习率 Warmup 与退火调优排障

学习率预热与余弦退火动态调度体系 (Learning Rate Warmup & Cosine Annealing Dynamic Scheduling) 是大模型与深层神经网络训练中控制参数更新步长演进、保证初期训练稳定与后期极限收敛的核心调度策略；核心由两个阶段组成：1) 线性预热阶段 (Linear Warmup: 在训练最初的 $N_{\text{warmup}}$ 步内，将学习率从 0 线性增加至最大学习率 $\eta_{\max}$，防止初始随机权重在未稳定的自适应二阶动量 $v_t$ 引导下迈出过大步长导致权重崩溃)；2) 余弦退火衰减阶段 (Cosine Annealing Decay: 随后按照余弦半周期曲线平滑衰减至极小的基准学习率 $\eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min})\left(1 + \cos\left(\frac{t - N_{\text{warmup}}}{T_{\text{total}} - N_{\text{warmup}}} \pi\right)\right)$，使参数平稳沉降在损失平面的平坦宽广极小值点)。

LLM 预训练与大模型 SFT 微调、视觉 Transformer 训练、学习率发散排障与调优。

训练初期若直接使用大基础学习率会引发激活值剧烈震荡甚至直接产生 NaN 崩盘；固定学习率或阶梯衰减容易陷入局部尖锐极小值；Warmup 与 Cosine 调度保证了初期的绝对平稳与终局的卓越泛化。

检验攻克程度：针对「学习率 Warmup 与退火调优排障」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。