深度可分离卷积

深度可分离卷积把标准卷积拆成两步: Depthwise——每通道独立用一个 $k \times k$ 核做空间卷积(不跨通道); Pointwise——$1 \times 1$ 卷积跨通道线性混合。算力比推导: 标准卷积 FLOPs $= k^2 C_{in} C_{out} HW$, 深度可分离为 $k^2 C_{in} HW + C_{in} C_{out} HW$(HW 为输出空间尺寸), 比值 $= \frac{1}{C_{out}} + \frac{1}{k^2}$——第一项来自 pointwise、第二项来自 depthwise。代入 $k=3$、$C_{out}=256$: $\frac{1}{256} + \frac{1}{9} \approx 0.0039 + 0.1111 \approx 0.114$, 即计算量约为标准卷积的 11.4%, 节省约 8.8×; 参数量同步缩小(比值公式相同)。

MobileNetV1 的核心算子(全网络替换标准卷积), MobileNetV2 再叠加反向残差+线性瓶颈; 面试必考推导算力比、解释省在哪里、以及为什么 1×1 卷积不可省。

把“空间卷积”与“通道混合”解耦, 使卷积计算量从与 $C_{in} \times C_{out}$ 成正比降为与 $C_{in} + C_{out}$ 成正比, 在 top-1 精度仅损失约 1~2 个百分点(ImageNet 上 ~70.6% vs 标准卷积基线 ~71.7%)的代价下将算力与参数量压缩约 8.8×, 让视觉模型能在移动端实时运行。

推导深度可分离卷积相对标准卷积的算力比 $\frac{1}{C_{out}} + \frac{1}{k^2}$, 说明两项各自来源。

手算: 3×3 深度可分离卷积, C_out=256, 计算量约为标准卷积的多少? 省了多少倍?

为什么 MobileNet 需要 1×1 pointwise 卷积? 只用 depthwise 会怎样?

MobileNetV2 的反向残差(线性瓶颈)是什么? 为什么 ReLU 会破坏低维特征?

深度可分离卷积与分组卷积(如 ResNeXt 的 32 组)在算力和表达力上有什么区别?