Calculus & Taylor Expansion: 什么是雅可比矩阵与向量-雅可比积（VJP）？为什么框架都用 VJP。

Core Concept: 雅可比是多元函数的偏导矩阵；VJP 直接算'向量×雅可比'而不显式构造雅可比，省内存。

雅可比矩阵 J∈R^{m×n} 汇集所有一阶偏导 ∂fᵢ/∂xⱼ，是多元函数线性化的系数矩阵。对神经网络，若层输出维度 m 与输入维度 n 都是百万级，显式构造 J 需要 10¹² 个元素——完全不可行。<strong>VJP（Vector-Jacobian Product）</strong> 的技巧是：我们从不真正需要 J 本身，只需要 vᵀJ（其中 v 是上游梯度）。VJP 可通过'反向传播该层的局部导数'直接计算，内存与计算均为 O(n+m) 而非 O(nm)。数学上这利用了'反向模式自动微分'只需一次前向 + 一次反向即可得到完整梯度（因为损失是标量，m=1，v 是标量 1）。

选择模式的原则是<strong>看哪一维小</strong>：① <strong>反向模式（VJP）</strong>——输入多、输出少（m≪n），代价 O(m)·cost(f)，适合训练（损失是标量，m=1）；② <strong>前向模式（JVP）</strong>——输入少、输出多（n≪m），代价 O(n)·cost(f)，适合计算'每个输入对输出的影响'（如敏感性分析、雅可比-向量积用于二阶优化）；③ <strong>混合模式</strong>——求 Hessian 或 Hessian-向量积（HVP）时用'反向套反向'或'前向套反向'，代价 O(n) 次 VJP，这是 WGAN-GP 的梯度惩罚、MAML 的二阶梯度、以及可解释性中显著性图的技术基础。框架（PyTorch/JAX）通过 <code>vjp</code>/<code>jvp</code> 原语暴露两者，<code>jacobian</code> 只是对它们做批处理。