CNN 演进主线: LeNet(1998, 卷积+池化+全连接 5 层, 手写数字)→ VGG(2014, 全 3×3 小核堆叠, 16/19 层)→ ResNet(2015, 残差捷径, 深至 152 层)→ DenseNet(2017, 层间密集拼接, 特征复用)。设计原则演进: ① 小核堆叠代替大核——两个 3×3 感受野等于一个 5×5(递推
2l+1), 参数从
25C2 降为
2×9C2, 约省 28%; ② 深度代替宽度——VGG 用深度换精度, 残差让“更深”成为常态; ③ 分辨率减半、通道翻倍(2× 法则), 保持单层 FLOPs 量级不变; ④ DenseNet 将“学新特征”改为“拼接复用旧特征”, 参数量进一步压缩且梯度更顺。