Optimizers & Second-Order Methods: 解释 Nesterov 动量与经典动量的差异。

Core Concept: 经典动量先按当前梯度更新速度再走；Nesterov 先在'前瞻点'计算梯度再修正，收敛更快、震荡更小。

数学机理：经典动量的轨迹是'惯性球在斜坡上滚'——到达极小值附近时因速度大而冲过去、来回震荡。<strong>NAG</strong> 的思想是：既然下一步必然要沿速度方向移动约 ηβv，不如<strong>先去那里看看梯度</strong>再决定如何更新。形式化地，NAG 更新 v_t=βv_{t−1}+∇f(θ_t−ηβv_{t−1})，等价于在'前瞻点' θ_t−ηβv_{t−1} 处求梯度。数学上可证明 NAG 的更新等价于对动量做一次'梯度修正'：v_t=(1−β)Σ β^{t−k}∇f 但用前瞻梯度，从而在接近极小值、速度仍大时，前瞻点的梯度方向与速度方向相反，<strong>产生减速力</strong>（刹车），减少超调。在凸且 L-光滑问题上，NAG 达到 O(1/t²) 的收敛率（与动量同阶，但常数与鲁棒性更优），且对 β 的敏感性更低。

深度剖析与工程权衡：① <strong>实现形式</strong>——PyTorch 的 NAG 用等价的'先更新参数、再在更新后位置求梯度'的变形，与原始公式数学等价但实现更简洁；写自定义优化器时需注意这个等价变形。② <strong>实践差异</strong>——在深度网络上 NAG 相对经典动量的优势<strong>不如凸问题上明显</strong>；部分基准上甚至差异很小。原因是深度网络的非凸性与随机梯度噪声掩盖了加速效应。③ <strong>与其他加速方法的关系</strong>——NAG 属于'一阶加速法'（与 Heavy Ball 并列），其 O(1/t²) 来自对 Nesterov 的估计序列技巧；这个技巧后来被用于 Nesterov 加速的 SVRG、加速的坐标下降等。④ <strong>与 Adam 的关系</strong>——Adam 内部用的是经典动量（一阶矩），不是 NAG；有人尝试 Adam+NAG 的变体（如 Nadam），在部分任务上略有提升但未成为主流。⑤ <strong>CV 中的使用</strong>——经典配置 SGD(momentum=0.9, nesterov=True) 是 ResNet 系列训练的标准设置，配合 cosine lr；大模型则用 AdamW。⑥ <strong>面试要点</strong>——若被问'动量为什么能加速'，要从'指数加权累积 + 震荡抵消'回答；若追问'Nesterov 的额外收益'，答'前瞻梯度带来的自适应减速'，并诚实说明其在深度网络上收益有限。