Vision Encoders (ViT / ConvNeXt): 解释 Swin Transformer 的窗口注意力与层级设计。

Core Concept: 局部窗口内做注意力（O(N)），相邻层用移动窗口实现跨窗口通信，并用 patch merging 做层级下采样。

数学机理：<strong>Swin Transformer 的两个关键设计</strong>。(1) <strong>窗口注意力（window attention）</strong>——把特征图划分为<strong>不重叠的局部窗口</strong>（如 7×7 patch），<strong>只在窗口内</strong>做自注意力。<strong>复杂度</strong>——设特征图有 N 个 patch、窗口大小 M×M，则窗口数 N/M²、每个窗口内注意力 O(M⁴)，总复杂度 <strong>O(N·M²)</strong>——<strong>线性于 N</strong>（而非全局注意力的 O(N²)）；因为 M 是常数（7）。<strong>问题</strong>——窗口间<strong>不通信</strong>（每个窗口独立），故信息无法跨窗口流动（感受野受限）。(2) <strong>移动窗口（shifted window）</strong>——相邻层<strong>交替</strong>使用'规则划分'与'偏移划分'（偏移 M/2）；这样上一层的窗口边界与下一层的窗口边界<strong>错开</strong>，使原本在不同窗口的元素在下一层落入同一窗口（<strong>跨窗口通信</strong>）。<strong>实现细节</strong>——偏移会导致'不完整的窗口'（需要 padding）；Swin 用 <strong>cyclic shift（循环移位）+ mask</strong> 高效实现（避免 padding，只需在注意力中加 mask 屏蔽'循环移位引入的假邻居'）。(3) <strong>层级设计（hierarchical）</strong>——用 <strong>patch merging</strong> 逐级下采样（每级把 2×2 相邻 patch 拼接并投影，空间尺寸减半、通道加倍），产生 <strong>多尺度特征图</strong>（类似 CNN 的 feature pyramid）。<strong>好处</strong>——(a) 支持<strong>多尺度</strong>任务（检测、分割需要不同尺度的特征）；(b) 计算量逐级递减（高层空间尺寸小）。<strong>对比 ViT</strong>——ViT 是<strong>单尺度</strong>（所有层同分辨率）、<strong>全局注意力</strong>；Swin 是<strong>多尺度 + 局部注意力</strong>（更像 CNN 的层次结构）。<strong>效果</strong>——Swin 在 ImageNet 上匹配/超越同规模 ViT，且<strong>更适合检测/分割</strong>（因多尺度），同时计算更省（线性复杂度）。

深度剖析与工程权衡：① <strong>'移动窗口'是 Swin 的核心创新</strong>——若只用固定窗口，窗口间无通信（等价于多个独立的小 ViT）；移动窗口用'错位'实现跨窗口通信，成本极低（只需 cyclic shift + mask）。② <strong>'线性复杂度'的来源</strong>——因为窗口大小 M 固定，故总复杂度 O(N·M²)（线性于 N）；这与滑动窗口注意力（M4 的稀疏注意力题）是同一思想。③ <strong>'层级设计支持密集预测'</strong>——ViT 的单尺度特征不适合检测/分割（需要多尺度）；Swin 的 patch merging 提供多尺度，故在检测（如 Swin 在 COCO 上）表现好。④ <strong>'cyclic shift 的实现技巧'</strong>——直接偏移会产生不完整窗口（需 padding 与重新划分）；Swin 用'循环移位 + attention mask'避免这一开销（只在小窗口内做注意力 + mask 屏蔽假邻居）；这是工程优化的典范。⑤ <strong>'与后续架构的关系'</strong>——ConvNeXt（用卷积实现类似设计）、以及各类'层次化 ViT'都借鉴了 Swin 的层级思想；而现代 VLM 多用<strong>单尺度 ViT + 动态分辨率</strong>（因为 LLM 需要固定格式的 token 序列，多尺度反而不便）。⑥ <strong>面试要点</strong>——被问'Swin 的设计'，应给出'<strong>窗口注意力（线性复杂度）+ 移动窗口（跨窗口通信）+ patch merging（多尺度）</strong>'三个要点，并说明'<strong>移动窗口用 cyclic shift + mask 高效实现</strong>'与'<strong>多尺度利于检测/分割</strong>'；这是 CV 架构类问题的深度回答。