Jacobian 与 Hessian

对 $f: \mathbb{R}^n \to \mathbb{R}^m$, Jacobian 是 $m \times n$ 矩阵 $J$, 分量 $J_{ij} = \partial f_i / \partial x_j$ — 每行是分量函数 $f_i$ 的梯度行向量; 维度检查法则: 输入 $n$ 维、输出 $m$ 维 ⟹ Jacobian 形状 $m \times n$ (不是 $n \times m$); 标量函数 ($m=1$) 的 Jacobian 是其梯度 $\nabla f$ 的转置。它给出 $f$ 的一阶线性近似 $f(x + \delta) \approx f(x) + J(x)\delta$。二次型 $f(x) = x^TAx$ 的梯度为 $\nabla f = (A + A^T)x$, $A$ 对称时 $\nabla f = 2Ax$。Hessian: 标量函数 $f: \mathbb{R}^n \to \mathbb{R}$ 的二阶偏导矩阵 $H_{ij} = \partial^2 f / \partial x_i \partial x_j \in \mathbb{R}^{n \times n}$ (对称); 凸性判定: $f$ 二阶连续可微时, $f$ 凸当且仅当 $H(x)$ 对所有 $x$ 半正定 ($H \succeq 0$), 严格凸当且仅当正定 ($H \succ 0$)。链式法则: 对 $h = g \circ f$, $J_h = J_g \cdot J_f$, 维度相乘 $(p \times m)(m \times n) = p \times n$ 可作一致性校验。

反向传播手推梯度时的维度核对; 牛顿法 $x_{t+1} = x_t - H^{-1}\nabla f$ (二阶曲率); 凸性分析 (KL 散度、交叉熵、二次损失); 二阶优化、Fisher 信息矩阵、拉普拉斯近似。

矩阵求导手推的最大错误来源是转置与维度——"Jacobian 恒为 $m \times n$"与链式法则的形状相乘可作为推导唯一性校验; Hessian 正定性给出判定凸函数的操作化标准: 凸 ⟹ 局部最优 = 全局最优, 机器学习损失可解性的根本判据; 牛顿法用曲率 $H^{-1}$ 对病态问题 (条件数大) 一步收敛, 而一阶法需要沿等高线反复走。

检验攻克程度：针对「Jacobian 与 Hessian」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。