优化器收敛性与动量选型准则

优化器收敛性与动量选型准则 (Optimizer Convergence Dynamics & Momentum Selection Rules) 是机器学习工程师针对不同网络架构（CV 卷积、NLP Transformer、稀疏推荐表）与训练规模，选择并调优一阶/自适应梯度优化器的决策体系；三大主流优化器流派：1) SGD with Momentum (带动量的随机梯度下降，结合 Nesterov 加速梯度 NAG，在计算机视觉与泛化要求极高的领域占据统治地位)；2) AdamW (解耦权重衰减的自适应动量估计器：将 L2 正则化与一阶动量/二阶方差更新解耦 $\theta_{t+1} = \theta_t - \eta (\frac{m_t}{\sqrt{v_t} + \epsilon} + \lambda \theta_t)$，是现代 Transformer、LLM 与多模态预训练的标准默认选择)；3) AdaGrad / FTRL (针对稀疏特征频次自适应学习率，广泛用于大规模推荐搜广推 Embedding 更新)。

大模型预训练与微调、CV 骨干网络训练、超参数网格搜索与训练发散/震荡排障。

早期 Adam 由于将 L2 正则简单等同于梯度惩罚，导致在自适应学习率缩放后高频特征的权重衰减被过度压缩，泛化性能显著逊于 SGD；AdamW 彻底修复了权重衰减数学公式，兼具自适应极速收敛与卓越泛化性。

检验攻克程度：针对「优化器收敛性与动量选型准则」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。