梯度检查

用数值方法近似导数并与解析梯度比对: 中心差分 $f'(x) \approx \frac{f(x+\epsilon) - f(x-\epsilon)}{2\epsilon}$, 误差 $O(\epsilon^2)$ (单侧差分只有 $O(\epsilon)$), $\epsilon$ 常取 $10^{-4}$~$10^{-5}$ (再小会被浮点精度支配)。用相对误差 $\frac{|g_{num} - g_{ana}|}{\max(|g_{num}|, |g_{ana}|)}$ 衡量: 浅网络 (3 层以内) 用 $10^{-7}$ 量级阈值, 深网络/大网络用 $10^{-3}$ 量级 (深层累积极小的数值误差)。

手写反向传播、实现自定义 autograd Function、复现论文新层/新损失时验证 backward 正确性; 面试问数值梯度公式、误差阶数与阈值选择。

反向传播实现错误极其隐蔽 — 模型仍能“学会”东西 (误差被后续层吸收), 肉眼几乎无法发现; 梯度检查把实现正确性变成可自动验证的数值测试。注意: 检查时需关闭 dropout/BN 随机性、只用少量样本、逐参数单独检查 (每个参数两次前向), 因此只在实现新算子时做, 训练中不频繁执行。

检验攻克程度：针对「梯度检查」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。