Convolution & Vision Foundations: 比较 ViT、Swin、ConvNeXt 的设计哲学。

Core Concept: ViT 纯注意力+全局（需大数据）；Swin 分层窗口注意力（局部+层次）；ConvNeXt 用卷积模仿 Transformer 设计（无注意力）。

数学机理：三者的设计哲学代表'偏置 vs 灵活性'的不同折中。<strong>ViT</strong>——把图像切成 patch（如 16×16）、线性投影为 token、直接用标准 Transformer 编码器（全局自注意力）。<strong>哲学</strong>：最小化图像特定的归纳偏置，让模型从数据中学（故需 JFT-300M 级数据）。缺点是 (a) 全局注意力的复杂度 O(N²)（N 为 patch 数，高分辨率下不可行）、(b) 单尺度（无层次化，不适合检测/分割）。<strong>Swin</strong>——(a) <strong>窗口注意力</strong>：把注意力限制在局部窗口（如 7×7 patch）内，复杂度从 O(N²) 降到 O(N)；(b) <strong>移动窗口（shifted window）</strong>：相邻层交替用偏移的窗口划分，使跨窗口信息能流动（否则窗口间不通信）；(c) <strong>层次化</strong>：像 CNN 一样逐级下采样（patch merging），产生多尺度特征（适合检测/分割）。<strong>哲学</strong>：把'局部性 + 层次化'这两个 CNN 的先验<strong>重新注入注意力</strong>，获得注意力的表达力 + CNN 的效率。<strong>ConvNeXt</strong>——反其道而行：<strong>纯卷积</strong>，但把 Transformer 的设计要素'移植'过来：(a) 大核（7×7 depthwise，模仿注意力的长程）、(b) inverted bottleneck（模仿 FFN 的 4 倍扩展）、(c) LayerNorm 替代 BatchNorm、(d) GELU 替代 ReLU、(e) 更少的激活与归一化。<strong>哲学</strong>：证明'Transformer 的成功主要来自设计选择（训练技巧、架构细节）而非注意力机制本身'——ConvNeXt 在 ImageNet 上匹配 Swin，且推理更简单高效。

深度剖析与工程权衡：① <strong>三者的性能对比</strong>——在 ImageNet 监督训练下，Swin ≈ ConvNeXt > ViT（同规模）；在超大规模预训练下，ViT 系（如 ViT-22B）表现强劲；说明'数据量决定哪种偏置更优'。② <strong>效率与部署</strong>——ConvNeXt 纯卷积，部署友好（无注意力 kernel、支持任意分辨率、易量化）；Swin 的窗口注意力有额外 kernel 开销；ViT 的全局注意力在高分辨率下成本高。故工业部署常偏 ConvNeXt 系。③ <strong>移动端方案</strong>——MobileViT（卷积 + 轻量注意力混合）、EfficientViT 等追求'移动端友好'；纯 ViT 在移动端不实用。④ <strong>与多模态的关系</strong>——CLIP/SigLIP 用 ViT（因需大规模图文预训练、且需与文本 Transformer 统一）；用户的 VLM 项目（Qwen2.5-VL）用 ViT 变体（动态分辨率）。⑤ <strong>'注意力是否必要'的争论</strong>——ConvNeXt 与后续工作（如 MetaFormer 框架）表明'架构骨架（token mixer + FFN + 归一化）比 token mixer 的具体形式更重要'；注意力、卷积、池化都可作为 token mixer 互换。⑥ <strong>面试要点</strong>——被问'ViT vs CNN'，应给出'<strong>归纳偏置（ViT 弱、CNN 强）→ 数据效率（ViT 需大数据）→ 复杂度（ViT 全局 O(N²)、Swin 局部 O(N)）</strong>'的对比框架，并把 ConvNeXt 定位为'用卷积实现 Transformer 设计'的反向验证；能提到 MetaFormer 的统一视角是明显加分。