Architecture Building Blocks: 解释注意力的归纳偏置，以及它与卷积的差异。

Core Concept: 注意力是'内容自适应的全局加权'，无空间/平移先验；卷积是'位置固定的局部权重'，有强平移等变先验。

数学机理：<strong>归纳偏置（inductive bias）</strong> 指模型结构内置的假设。<strong>卷积</strong>的偏置：(a) <strong>局部性</strong>——每个输出只依赖局部邻域（k×k 窗口）；(b) <strong>平移等变性</strong>——输入平移则输出平移（同一组权重滑动使用）；(c) <strong>权重共享</strong>——所有位置用同一组权重。这些偏置在图像上<strong>非常正确</strong>（局部纹理、平移不变），故 CNN 在小数据上表现好、样本效率高。<strong>注意力</strong>的偏置：(a) <strong>全局性</strong>——每个 token 与所有 token 交互（无局部性假设）；(b) <strong>内容自适应</strong>——权重由 Q·K 相似度<strong>动态计算</strong>（依输入而变），而非固定权重；(c) <strong>排列等变</strong>——注意力对 token 的排列是等变的（打乱顺序则输出同样打乱），故<strong>需要位置编码</strong>注入顺序信息。<strong>差异的后果</strong>：ViT 缺少'局部性与平移等变'先验，故在<strong>小数据</strong>上不如 CNN（需 JFT-300M 等大规模数据预训练才超越）；而一旦数据充足，注意力的<strong>灵活性</strong>（可学习任意长程依赖）使其上限更高。<strong>注入偏置的手段</strong>：Swin 的窗口注意力（局部窗口 + 移动窗口）、卷积 stem（用卷积做 patch embedding）、以及相对位置编码——都是把'局部性/平移性'重新引入注意力。

深度剖析与工程权衡：① <strong>样本效率 vs 上限</strong>——强偏置（卷积）样本效率高但上限受限；弱偏置（注意力）样本效率低但上限高。这是'先验正确性与模型灵活性'的根本权衡，也是'ViT 需大数据、CNN 适合小数据'的原因。② <strong>数据规模的经验规律</strong>——ViT 论文显示：在 ImageNet-1k（1.3M）上 ViT 不如 ResNet；在 JFT-300M（300M）上 ViT 超越；交叉点约在数千万到上亿样本。③ <strong>混合架构</strong>——ConvNeXt（用卷积模仿 Transformer 设计）、Swin（窗口注意力）、Hybrid ViT（卷积 stem）都在'偏置与灵活性'间找平衡；实践表明'合适偏置 + 足够数据'常优于纯架构之争。④ <strong>注意力的排列等变与位置编码</strong>——注意力本身对顺序不敏感，故必须加位置编码（绝对/相对/RoPE）；这也解释了为什么 RoPE 等相对位置编码在长上下文外推上更好。⑤ <strong>与多模态的关系</strong>——CLIP 的 ViT 用大规模图文对训练，弥补了数据效率；用户的 VLM 项目（Qwen2.5-VL）也用动态分辨率 + 大规模预训练。⑥ <strong>面试要点</strong>——被问'ViT 与 CNN 的区别'，核心是'<strong>归纳偏置（局部性/平移等变 vs 全局/内容自适应）→ 样本效率差异</strong>'；能进一步说出'Swin 的窗口注意力如何注入局部性'与'位置编码的必要性'，是深度理解的标志。