Backprop & Autodiff: 解释高阶导数的计算成本，以及什么时候需要它。

Core Concept: 二阶导成本 O(n²) 内存；用于牛顿法、WGAN-GP 的梯度惩罚、MAML、可解释性（Hessian）。

计算方式与成本：<strong>显式海森矩阵</strong> H=∇²f 是 n×n 矩阵，内存 O(n²)、计算 O(n) 次反向——对百万参数模型完全不可行。<strong>实用替代是 Hessian-向量积（HVP）</strong>：Hv 可通过'反向模式套前向模式'（或'反向套反向'）在 O(n) 时间内算出（等价于一次额外的反向传播），无需构造 H。具体实现：先算 ∇f（保留计算图），再算 (∇f)ᵀv 对输入的反向，即得 Hv。<strong>需要高阶导的场景</strong>：① <strong>二阶优化</strong>——牛顿法需 H⁻¹∇f（用共轭梯度求解 Hv=∇f，避免求逆）；K-FAC/Shampoo 用结构化近似；② <strong>WGAN-GP 的梯度惩罚</strong>——λE[(‖∇_x f(x̂)‖₂−1)²]，需对'梯度的范数'再求导，本质是二阶；③ <strong>MAML（元学习）</strong>——内外层梯度需二阶导（一阶近似 MAML 用 FOMAML 省去）；④ <strong>可解释性</strong>——Integrated Gradients、Hessian 特征值分析（如平坦性度量）；⑤ <strong>对抗鲁棒性</strong>——某些攻击与防御（如二阶攻击）需 Hessian；⑥ <strong>SAM（Sharpness-Aware Minimization）</strong>——需对梯度做一步上升再下降，涉及二阶信息。

实践要点：① <strong>成本控制</strong>——HVP 的成本约为一次前向+一次反向的 2–3 倍；若需多次 HVP（如共轭梯度迭代），成本线性增长。② <strong><code>create_graph=True</code> 的代价</strong>——它使反向过程本身被记录进图（保留中间量），显著增加内存；应仅在需要高阶导的<strong>局部</strong>开启（如只对输入 x 求梯度惩罚，而非对整个网络）。③ <strong>WGAN-GP 的实现细节</strong>——梯度惩罚只对<strong>插值点 x̂</strong> 求导（而非全部样本），且用 <code>torch.autograd.grad(..., create_graph=True)</code>；这是 GAN 训练中最常见的高阶导用法。④ <strong>一阶近似</strong>——许多场景可用一阶近似替代二阶（如 FOMAML、Reptile），牺牲少量精度换大幅成本降低；实践中应优先尝试一阶方法。⑤ <strong>数值精度</strong>——高阶导对数值误差敏感（二阶导的信噪比更低），应使用 FP32 计算（而非 FP16）。⑥ <strong>诊断</strong>——若二阶方法训练不稳或收益不明显，通常说明一阶方法已足够；深度学习中'二阶方法收益有限'的根因是非凸景观的复杂性（海森在非凸点可能不定，牛顿方向可能是上升方向，需加阻尼）。