过参数化与神经正切核 NTK 理论

深度学习过参数化优化动力学与无限宽极限下的神经正切核 (Neural Tangent Kernel, NTK / Jacot et al. 提出) 理论体系是将极其复杂的非凸深层神经网络梯度下降优化，严格等价映射为可解析求解的凸线性核回归 (Kernel Ridge Regression) 的里程碑级数学框架；核心定理：当全连接或卷积神经网络的隐藏层宽度 $m \to \infty$ 时，权重在梯度下降训练过程中的相对变化量趋于 0（即处于“懒惰训练 Lazy Training / 线性化微扰制度”），此时参数梯度内积所定义的经验 NTK 矩阵 $\Theta(x, x') = \langle \nabla_\theta f(x; \theta), \nabla_\theta f(x'; \theta) \rangle$ 在整个训练全过程中保持恒定不变，收敛至确定性的确定核函数 $\Theta_\infty(x, x')$；在此极限下：1) 连续时间梯度流 (Gradient Flow) 具有严格的线性微分方程闭式解析解：$f_t(x) = y - e^{-\Theta_\infty t} y$；2) 证明了只要样本没有重合，极宽的深度神经网络以一阶梯度下降能够以指数速度 100% 全局收敛至 0 训练误差（彻底破解非凸优化局部极小陷阱）。

深度学习理论基础、神经网络优化动力学证明、过参数化模型全局收敛性理论分析。

传统非凸优化理论无法解释为什么具有数百万参数的高度非凸神经网络用简单一阶梯度下降就能轻松收敛到全局最优解；NTK 理论从无限宽极限给出了第一个严格解析证明。

定义经验神经正切核 (Empirical NTK) $\Theta_t(x, x') = \nabla_\theta f_t(x)^T \nabla_\theta f_t(x')$，并推导在连续时间梯度流 $\frac{\mathrm{d}\theta_t}{\mathrm{d}t} = -\nabla_\theta \mathcal{L}$ 下模型输出的线性微分演化方程？

为什么在宽度 $m \to \infty$ 极限下，NTK 矩阵在整个训练轨迹中保持冻结恒定（$\Theta_t \to \Theta_\infty$）？

懒惰训练机制 (Lazy Training) vs 特征学习机制 (Feature Learning / Mean-Field Regime) 的本质分歧：为什么真实有限宽神经网络依赖特征重塑而非静态 NTK？

双重下降现象 (Double Descent) 在 NTK 视角下的谱偏差 (Spectral Bias) 与频域傅里叶分析（低频分量优先收敛）？

从 NTK 到现代大模型位置编码扩展：NTK-Aware RoPE 如何利用神经正切核的频域衰减缩放基频以实现长文本外推？