Calculus & Taylor Expansion: 解释二阶充分条件与鞍点，以及深度学习为何不怕鞍点。

Core Concept: 海森正定 → 严格局部极小；不定 → 鞍点。高维空间中鞍点远多于局部极小，但 SGD 噪声能逃离鞍点。

二阶充分条件：若 ∇f(x*)=0 且 H(x*)≻0（正定），则 x* 是严格局部极小；若 H 不定（有正有负特征值），则是鞍点。判据的本质是沿每个特征向量方向做一维二阶展开：f(x*+αvᵢ)≈f(x*)+½α²λᵢ，故 λᵢ>0 时该方向上升、λᵢ<0 时下降——只要存在一个负特征值方向，就不是极小。<strong>高维的关键统计事实</strong>：若海森特征值近似独立同分布且关于 0 对称，则'所有 n 个特征值同为正'的概率约为 2⁻ⁿ——n=10⁶ 时概率小到 10⁻³⁰⁰⁰⁰⁰。因此随机高维函数中，几乎<strong>所有一阶驻点都是鞍点</strong>，真正的局部极小微乎其微。

这带来两个重要结论：① <strong>鞍点不是主要障碍</strong>——严格鞍点（存在负曲率方向）可以沿负特征值方向下降，SGD 的梯度噪声天然提供了这种扰动，实践中很少需要显式的二阶方法逃逸鞍点；② <strong>真正的难点是平台区与病态</strong>——梯度极小但不为零的'平台'（plateau）会让训练停滞，而病态（条件数大）导致不同方向收敛速度差异巨大。这解释了为什么实践中优化器的选择（Adam 的逐维自适应）与归一化（改善条件数）比'逃离鞍点'更重要。需要区分的是：<strong>退化解（degenerate saddle）</strong> 与<strong>尖峰极小（sharp minima）</strong> 仍值得关注——后者与泛化相关，SWA/SAM 等方法通过寻找平坦极小提升泛化。