Optimizers & Second-Order Methods: Adam 的偏差修正（bias correction）为什么必要？

Core Concept: m、v 初始化为 0，早期 EWMA 被 0 拉低、严重低估真实矩；除以 (1−β^t) 修正。

数学机理：m_t=β₁m_{t−1}+(1−β₁)g_t，展开得 m_t=(1−β₁)Σ_{k=1}^{t}β₁^{t−k}g_k。若各步梯度同向且幅度约 g，则 𝔼[m_t]=g(1−β₁^t)——即 m_t 是真实一阶矩的 (1−β₁^t) 倍，<strong>系统性低估</strong>。第 1 步时 1−β₁^t=0.1（β₁=0.9），意味着 m₁ 只有真实梯度的 10%；若直接用 m₁/√v₁，因分子分母被同样低估，比值看似正常——但<strong>分子分母的 β 不同</strong>（0.9 vs 0.999），低估程度不同：v₁ 被低估 1000 倍（1−0.999=0.001），故 √v₁ 被低估约 31.6 倍，而 m₁ 只被低估 10 倍，结果 m₁/√v₁ 被<strong>放大 3.16 倍</strong>，早期步长异常大。偏差修正把两者都还原到真实尺度，使早期更新量级正常（约 ±η）。随 t 增大，(1−β^t)→1，修正项自动消失，故它只影响早期。

深度剖析与工程权衡：① <strong>与 warmup 的关系</strong>——偏差修正解决了'早期步长异常大'，但没有解决'早期二阶矩估计方差大'（v̂ 由极少数样本估计，噪声大）。故实践中 <strong>bias correction 与 lr warmup 互补</strong>：前者修系统偏差、后者抑制早期噪声。两者都不做会导致训练初期 loss 震荡或发散。② <strong>β₂ 的影响</strong>——β₂ 越大，早期低估越严重（1−β₂^t 越小），修正越关键；GPT 系列把 β₂ 从 0.999 降到 0.95，部分原因就是让 v 更快收敛、减少对修正的依赖。③ <strong>AMSGrad 的教训</strong>——Reddi 等人 (2018) 证明即使有偏差修正，Adam 在非凸下仍可能不收敛，因为 v̂ 的 EMA 可能让分母变小（步长变大）；AMSGrad 用 v̂_t=max(v̂_{t−1}, v_t) 保证分母单调不减，恢复收敛保证。这是'偏差修正≠收敛保证'的经典案例。④ <strong>实现细节</strong>——PyTorch 的 Adam 默认做偏差修正；有些实现（如某些 Adafactor）用不同的校正方式（Adafactor 用相对步长与 'update clipping'）。⑤ <strong>与优化器状态的初始化</strong>——若从 checkpoint 恢复训练，偏差修正的 t 必须正确恢复，否则早期行为错乱；这是分布式/断点续训的常见 bug 源。⑥ <strong>面试延伸</strong>——常被问'如果把 m、v 初始化为第一个梯度而非 0，还需要修正吗'：理论上不需要（无零偏），但失去了'从零平滑启动'的性质，且实现上更难。