SGD 与动量

朴素 SGD 每步沿当前点梯度反方向更新 $\theta_{t+1} = \theta_t - \eta g_t$(其中 $g_t = \nabla_\theta L(\theta_t)$),只看瞬时梯度,在病态曲率(条件数 $\kappa = \lambda_{\max}/\lambda_{\min}$ 很大的椭圆等高线)上梯度方向频繁翻转,形成锯齿震荡。动量(Momentum)引入速度项对历史梯度做指数加权平均: $v_t = \gamma v_{t-1} + \eta g_t$,$\theta_{t+1} = \theta_t - v_t$。把递推展开成几何级数 $v_t = \eta\sum_{k=0}^{t}\gamma^k g_{t-k}$: 越早的梯度权重 $\gamma^k$ 越小(默认 $\gamma = 0.9$,10 步前的贡献已衰减到 $0.9^{10} \approx 0.35$),方向一致的历史梯度叠加放大、高频来回翻转的梯度相互抵消——所以在谷底方向加速、在震荡方向减速。NAG(Nesterov 加速梯度)先沿速度“外推一步”再算梯度: $v_t = \gamma v_{t-1} + \eta\nabla_\theta L(\theta_t - \gamma v_{t-1})$,$\theta_{t+1} = \theta_t - v_t$,对曲率变化更敏感,凸问题上收敛速率从 SGD 的 $O(1/t)$ 提升到 $O(1/t^2)$。

大规模数据并行训练(ImageNet/CIFAR 分类等)的经典基线优化器,CV 领域常仍优于 Adam;面试高频追问“为什么动量能抑制震荡”“NAG 与普通动量的区别”“动量如何与学习率衰减配合”。

① 震荡——速度滞后于梯度,自动平均掉高频符号翻转,病态曲率下收敛明显变快;② 平坦区域/局部极小——惯性使其能穿过梯度接近零的平台与小沟壑,但动量过大会越过极小点后回弹震荡,需配合余弦退火等学习率调度;③ 收敛速率——动量/NAG 把凸问题下 SGD 的 $O(1/t)$ 提升到 NAG 的 $O(1/t^2)$(一阶方法的最优常数),代价只是多维护一个速度变量、每步额外开销可忽略。

检验攻克程度：针对「SGD 与动量」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。