Jacobian 与 Hessian

对 $f: \mathbb{R}^n \to \mathbb{R}^m$, Jacobian 是 $m \times n$ 矩阵 $J$, 分量 $J_{ij} = \partial f_i / \partial x_j$ — 每行是分量函数 $f_i$ 的梯度行向量; 维度检查法则: 输入 $n$ 维、输出 $m$ 维 ⟹ Jacobian 形状 $m \times n$ (不是 $n \times m$); 标量函数 ($m=1$) 的 Jacobian 是其梯度 $\nabla f$ 的转置。它给出 $f$ 的一阶线性近似 $f(x + \delta) \approx f(x) + J(x)\delta$。二次型 $f(x) = x^TAx$ 的梯度为 $\nabla f = (A + A^T)x$, $A$ 对称时 $\nabla f = 2Ax$。Hessian: 标量函数 $f: \mathbb{R}^n \to \mathbb{R}$ 的二阶偏导矩阵 $H_{ij} = \partial^2 f / \partial x_i \partial x_j \in \mathbb{R}^{n \times n}$ (对称); 凸性判定: $f$ 二阶连续可微时, $f$ 凸当且仅当 $H(x)$ 对所有 $x$ 半正定 ($H \succeq 0$), 严格凸当且仅当正定 ($H \succ 0$)。链式法则: 对 $h = g \circ f$, $J_h = J_g \cdot J_f$, 维度相乘 $(p \times m)(m \times n) = p \times n$ 可作一致性校验。

反向传播手推梯度时的维度核对; 牛顿法 $x_{t+1} = x_t - H^{-1}\nabla f$ (二阶曲率); 凸性分析 (KL 散度、交叉熵、二次损失); 二阶优化、Fisher 信息矩阵、拉普拉斯近似。

矩阵求导手推的最大错误来源是转置与维度——"Jacobian 恒为 $m \times n$"与链式法则的形状相乘可作为推导唯一性校验; Hessian 正定性给出判定凸函数的操作化标准: 凸 ⟹ 局部最优 = 全局最优, 机器学习损失可解性的根本判据; 牛顿法用曲率 $H^{-1}$ 对病态问题 (条件数大) 一步收敛, 而一阶法需要沿等高线反复走。

维度检查: 为什么 $f: \mathbb{R}^n \to \mathbb{R}^m$ 的 Jacobian 是 $m \times n$ 而非 $n \times m$? 手写 $f(x,y) = (x^2 + y, xy)$ 的 Jacobian?

推导: 二次型 $f(x) = x^TAx$ 的梯度 $(A + A^T)x$ 与 Hessian $A + A^T$; $A$ 对称时为何简化为 $2Ax$?

手算: 对 $f(x_1, x_2) = x_1^2 + 3x_1x_2 + 2x_2^2$ 求 Jacobian/Hessian, 用主元判据 ($a > 0$ 且 $ac - b^2 > 0$) 或特征值判断凸性?

证明: 二阶可微 $f$ 凸当且仅当 Hessian 处处半正定; 为什么这对全局最优性至关重要 (凸 ⟹ 局部 = 全局)?

链式法则维度核对: 标量损失 $L = \Vert Xw - y \Vert^2$ 对 $w$ 的梯度, 用维度法则确认答案是 $2X^T(Xw - y)$ 而非其他转置组合?