Adam/AdamW

Adam(Adaptive Moment Estimation)对梯度维护一阶矩 $m_t$ 与二阶矩(未中心化方差)$v_t$ 的指数移动平均,并做偏差修正: $m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$,$v_t = \beta_2 v_{t-1} + (1-\beta_2)g_t^2$;偏差修正 $\hat{m}_t = \frac{m_t}{1-\beta_1^t}$,$\hat{v}_t = \frac{v_t}{1-\beta_2^t}$(由几何级数可证 $\mathbb{E}[m_t] = (1-\beta_1^t)\mathbb{E}[g]$,t 小时矩被系统性低估,除以 $1-\beta_1^t$ 修正);参数更新 $\theta_{t+1} = \theta_t - \eta\frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$。默认超参 $\beta_1 = 0.9$、$\beta_2 = 0.999$、$\epsilon = 10^{-8}$、基准学习率 $\eta = 10^{-3}$。比值 $\hat{m}_t/\sqrt{\hat{v}_t}$ 量级约 1,相当于按梯度 RMS 逐参数归一化: 大梯度方向自动缩小步长、小梯度方向自动放大步长,对稀疏梯度与病态条件数($\kappa$ 大)鲁棒。$\epsilon$ 必须放分母: 一是数值稳定、防止 $\hat{v}_t \approx 0$ 时除以零(训练早期),二是给步长设上界 $\eta/\sqrt{\epsilon}$。AdamW 把权重衰减从 L2 中解耦: $\theta_{t+1} = \theta_t - \eta\left(\lambda\theta_t + \frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon}\right)$,每参数每步衰减率恒为 $1 - \eta\lambda$。

Transformer/BERT/GPT 等大模型训练的默认优化器,大批量、稀疏特征、多模态场景首选;面试必考“默写 Adam 四个公式”“为什么需要偏差修正”“β 默认值”“AdamW vs Adam+L2”。

SGD+动量对所有参数共享一个学习率,病态曲率或稀疏梯度下步长难以兼顾;Adam 逐参数自适应缩放,且偏差修正保证早期迭代不被低估的矩拖慢。AdamW 修正 Adam+L2 的缺陷: L2 项 $\lambda w_t$ 进入 $g_t$ 后被 $\sqrt{\hat{v}_t}$ 缩放,有效衰减 $\eta\lambda w_t/\sqrt{\hat{v}_t}$ 随历史梯度幅度变化——大梯度方向被正则得太多、小梯度方向被正则得太少;解耦后每个参数获得恒定的衰减率,训练更稳、泛化更好。

检验攻克程度：针对「Adam/AdamW」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。