ResNet 残差连接

残差块 $y = F(x, \{W_i\}) + x$——让层去学残差 $F(x) = \mathcal{H}(x) - x$ 而非直接映射 $\mathcal{H}(x)$。反向传播时 $\frac{\partial y}{\partial x} = 1 + \frac{\partial F}{\partial x}$: 恒等捷径提供一条梯度直通路径, 链式连乘中梯度至少能经“1”这一项无损穿越任意层数, 有效缓解梯度消失(等价于把深层网络变成许多浅层网络的集成)。退化问题(degradation): 56 层 plain 网络的训练误差反而高于 20 层, 且并非过拟合——是恒等映射难以直接学到的优化困难; 残差把目标改写为“把残差学成 0”, 使深层网络在最坏情况下也不劣于浅层, ResNet-152 因此可稳定训练。

几乎所有深层 CNN/Transformer(Pre-Norm 亦同思路)的标准组件; 面试高频——“退化问题是什么”“为什么残差让上千层网络可训”“捷径为什么必须是恒等”。

深度超过阈值后的优化退化与梯度消失——有了恒等捷径, 精度随深度单调提升不再有上限障碍, ImageNet top-5 错误率从 VGG 的 ~7.3% 降到 ResNet-152 的 ~4.6%, 152 层模型成为此后所有视觉骨干的默认起点。

检验攻克程度：针对「ResNet 残差连接」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。