Architecture Building Blocks: 解释瓶颈结构（bottleneck）的作用。

Core Concept: 用 1×1 降维→3×3 卷积→1×1 升维，减少计算量；在保持表达能力的同时大幅降低 FLOPs。

数学机理：<strong>瓶颈块（bottleneck block）</strong> 的结构是 1×1 卷积（降维）→ 3×3 卷积（空间卷积）→ 1×1 卷积（升维），例如把通道数从 256 降到 64（1×1）→ 3×3 卷积（64 通道）→ 1×1 升回 256。<strong>计算量对比</strong>：若直接对 256 通道做 3×3 卷积，FLOPs ≈ 9·256·256·H·W（每个输出通道需 3×3×256 次乘加，共 256 个输出通道）；用瓶颈后，3×3 卷积只在 64 通道上做，FLOPs ≈ 9·64·64·H·W，<strong>降为 1/16</strong>（因为 (64/256)²=1/16），再算上两个 1×1 卷积（各 256·64·H·W，相对小）。故瓶颈把 3×3 卷积的算力开销降低约 16 倍，同时保持'3×3 空间卷积 + 通道变换'的表达能力。<strong>ResNet 的演进</strong>正是围绕此：ResNet-34 用基本块（两个 3×3），ResNet-50/101/152 用瓶颈块，从而在相近算力下堆更多层。<strong>瓶颈的思想</strong>也被广泛借用：Transformer 的 FFN 用'升维→降维'（反向瓶颈，中间 4d），而注意力的 QKV 投影、以及某些高效架构（MobileNet 的 inverted residual）用'降维→升维'（正向瓶颈）。

深度剖析与工程权衡：① <strong>降维比 r 的选择</strong>——r=4（256→64）是 ResNet 的标准；r 越大越省算力但可能损失容量（中间通道太窄成为瓶颈）；需在验证集上权衡。② <strong>与深度可分离卷积的关系</strong>——MobileNet 的 inverted residual 用'升维（1×1）→ 深度可分离 3×3 → 降维（1×1）'，与 ResNet 瓶颈方向相反（先升后降），因为在移动端'深度可分离卷积本身极省算力'，故瓶颈应放在'通道变换'上。③ <strong>Transformer 的反向瓶颈</strong>——FFN 是 d→4d→d（先升后降），因为注意力已提供通道交互、FFN 需要更高维的非线性变换空间。④ <strong>瓶颈与残差的配合</strong>——瓶颈块通常配残差，且'升维的 1×1 卷积'初始化为小值或 0，使初始时恒等（identity initialization）。⑤ <strong>现代架构的演变</strong>——ConvNeXt 用'倒瓶颈'（d→4d→d）配深度可分离 7×7 卷积，融合了 ResNet 瓶颈与 Transformer FFN 的思想；说明'瓶颈方向'取决于哪种算子更贵。⑥ <strong>面试要点</strong>——被问'瓶颈为什么省算力'，应给出<strong>具体 FLOPs 计算</strong>（9·d²→9·(d/r)²），并指出'瓶颈方向（先降后升 vs 先升后降）取决于最贵算子的位置'；这体现对架构设计逻辑的理解。