矩阵求导与 Softmax 梯度

矩阵求导与 Softmax 梯度是推导面试的“白板基本功”。核心一: 二次型求导。展开 $x^TAx = \sum_{i,j} x_i A_{ij} x_j$,对 $x_k$ 求偏导: 含 $x_k$ 的项分两类——固定 $i=k$ 贡献 $\sum_j A_{kj}x_j$,固定 $j=k$ 贡献 $\sum_i A_{ik}x_i$,于是 $\frac{\partial (x^TAx)}{\partial x_k} = \sum_j A_{kj}x_j + \sum_i A_{ik}x_i = (Ax)_k + (A^Tx)_k$,写成向量即 $\frac{\partial x^TAx}{\partial x} = (A + A^T)x$;若 $A$ 对称,$= 2Ax$。核心二: Softmax+CE 联合梯度。Softmax 概率 $p_i = \frac{e^{z_i}}{\sum_j e^{z_j}}$,交叉熵 $L = -\sum_i y_i \log p_i$。先求 $\frac{\partial p_j}{\partial z_i}$,分两种情形: $i = j$ 时 $\frac{\partial p_i}{\partial z_i} = \frac{e^{z_i}(\sum_j e^{z_j}) - e^{z_i}e^{z_i}}{(\sum_j e^{z_j})^2} = p_i - p_i^2 = p_i(1-p_i)$;$i \neq j$ 时 $\frac{\partial p_j}{\partial z_i} = \frac{0 - e^{z_j}e^{z_i}}{(\sum_k e^{z_k})^2} = -p_i p_j$。再由链式法则 $\frac{\partial L}{\partial z_i} = \sum_j \frac{\partial L}{\partial p_j}\frac{\partial p_j}{\partial z_i} = -\sum_j \frac{y_j}{p_j}\frac{\partial p_j}{\partial z_i} = -\frac{y_i}{p_i}\cdot p_i(1-p_i) + \sum_{j\neq i}\frac{y_j}{p_j}\cdot p_i p_j = -y_i(1-p_i) + p_i\sum_{j\neq i} y_j$。利用 $\sum_j y_j = 1$(标签和为 1)得 $\sum_{j\neq i}y_j = 1 - y_i$,代入: $-y_i + y_i p_i + p_i - p_i y_i = p_i - y_i$,即 $\frac{\partial L}{\partial z_i} = p_i - y_i$。

面试官常要求白板现场推导 $\frac{\partial L}{\partial z} = p - y$(Softmax + 交叉熵联合求导)、$\frac{\partial x^TAx}{\partial x} = (A+A^T)x$、$\frac{\partial}{\partial x}\Vert Ax - b\Vert^2 = 2A^T(Ax-b)$;这是理解反向传播、Jacobian/Hessian 维度核对(维度检查法则)的前提。

把复杂链式求导化简为可背诵的最终形式 $p_i - y_i$: 推导中 softmax 导数分 $i=j$ 与 $i\neq j$ 两情形的正负号抵消、交叉熵的 $\log p_j$ 恰好“消掉”softmax 的分母,使梯度从 $O(C^2)$ 的雅可比矩阵计算简化为 $O(C)$ 的向量相减——这正是 PyTorch/TensorFlow 中 Softmax+CE 梯度层(O(C) 一次前向、一次相减)的标准实现方式。

检验攻克程度：针对「矩阵求导与 Softmax 梯度」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。