Learning Rate Schedules: 如何诊断学习率是否合适？

Core Concept: 看 loss 曲线形态与梯度范数：lr 过大 → loss 震荡/爆炸；过小 → 下降缓慢且后期停滞；用 lr range test 定范围。

数学机理：<strong>lr range test（Smith 2015）</strong> 的做法是从极小 lr（如 1e-7）开始，每步指数放大 lr，记录 loss 随 lr 的曲线。典型曲线形如'U 型偏斜'：lr 太小时 loss 几乎不降（近乎平），lr 增大到某区间 loss 快速下降（斜率最陡），再增大则 loss 开始上升或震荡。<strong>最优 lr 取'下降最快'处的 lr（曲线斜率最负）再除以 2~10</strong>，而非 loss 最低点——因为 loss 最低点附近通常已在'震荡边缘'，直接使用不稳定；除以一个因子给出安全裕度。理论依据是：loss 对 lr 的响应斜率反映了'该 lr 下参数移动的效率'，最陡处是效率峰值；超过该点后单步过大导致越过极小值、loss 上升。此外还有 <strong>gradient norm 判据</strong>：健康训练的 grad_norm 应平稳（有波动但无趋势性增长）；若 grad_norm 持续增大或频繁尖峰，说明 lr 偏大或存在数值问题。

深度剖析与工程权衡：① <strong>与损失面几何的联系</strong>——lr 的上界由损失面的最大曲率（Lipschitz 常数 L）决定：稳定条件约 η<2/L。故 lr range test 本质上是在探测 L；曲率大（sharp）的任务需更小 lr。② <strong>区分 lr 问题与数据问题</strong>——lr 过大导致 loss 震荡通常在<strong>训练早期</strong>出现且 grad_norm 同步尖峰；数据问题（脏样本、标签错）导致 loss 突增则常伴随特定 step 且 grad_norm 尖峰可复现。可用'跳过该 batch 是否恢复'来区分。③ <strong>自适应诊断</strong>——现代训练框架记录 per-step lr、grad_norm、loss、update_norm（参数更新量）；健康状态下 <strong>update_norm/lr 应稳定</strong>（说明梯度尺度稳定）。若该比值漂移，说明优化器状态或 lr 有问题。④ <strong>与 warmup 的联动诊断</strong>——若 warmup 结束后立即出现 loss 尖峰，说明峰值 lr 偏大；若 warmup 期 loss 不降，说明 warmup 太长或 lr 太小。⑤ <strong>多组对照实验</strong>——lr 是最重要的超参，值得用 3~5 个 lr 做短程扫描（如 1000 步）后取最优再长跑；这是工业标准流程。⑥ <strong>面试要点</strong>——被问'loss 不降怎么判断是不是 lr'，应给出'看 grad_norm 与 update_norm 的稳定性 + 做短程 lr 扫描'的可操作答案，而非'调调看'。