M6-002M6: 多模态与生成模型视觉编码器Easy
⚡闪卡盲测➔掌握度:
比较 CNN 与 ViT 的归纳偏置与数据需求。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
CNN 有局部性/平移等变先验(样本效率高);ViT 偏置弱(需大数据),但数据充足时上限更高。
📌 核心要点提炼
- •CNN:局部性 + 平移等变 + 权重共享(强先验)
- •ViT:全局注意力,无空间先验(需位置编码)
- •交叉点:ImageNet-1k CNN 优;JFT-300M ViT 优
📐 数学机理与严密推导
数学机理:归纳偏置(inductive bias) 的差异(详见 M4 的'注意力归纳偏置'题)。(1) CNN——内置 (a) 局部性(每个输出只看 k×k 邻域)、(b) 平移等变性(同一卷积核滑动使用)、(c) 权重共享;这些先验在图像上非常正确(局部纹理、平移不变),故 CNN 在小数据上样本效率高、训练稳定。(2) ViT——用全局自注意力(每个 patch 与所有 patch 交互)+ 位置编码;无局部性与平移等变先验(注意力对 patch 的排列是等变的,故需位置编码注入顺序)。后果——ViT 需要更多数据才能学到这些结构(否则在小数据上欠拟合);但一旦数据充足,ViT 的灵活性(可学习任意长程依赖)使其上限更高。实证(ViT 论文)——(a) 在 ImageNet-1k(1.3M 图像)上,ViT 不如 ResNet(数据不足);(b) 在 JFT-300M(3 亿图像)上,ViT 超越 ResNet(且更大模型更好);(c) 交叉点约在数千万到上亿样本。其他关键差异——(a) 感受野——CNN 逐层扩大(线性),ViT 从第一层就全局;(b) 计算复杂度——CNN O(HW·k²·C²)、ViT O(N²·d)(长序列更贵);(c) 与文本的统一性——ViT 的 token 化使其易于与 LLM 拼接(这是 VLM 用 ViT 而非 CNN 的关键工程原因)。注入先验的手段——(a) 卷积 stem(用卷积做 patch embedding);(b) Swin 的窗口注意力(局部窗口 + 移动窗口);(c) 相对位置编码;(d) 混合架构(CNN + 注意力)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '先验强度 vs 数据需求'是核心权衡——强先验(CNN)样本效率高但上限受限;弱先验(ViT)需数据但上限高。这解释了'ViT 需大数据、CNN 适合小数据'。② 'VLM 用 ViT 的工程原因'——ViT 的 token 表示便于与文本 token 拼接(统一处理);CNN 的特征图需额外的'转 token'步骤。故现代 VLM 几乎都用 ViT 系(CLIP-ViT、SigLIP)。③ '自监督预训练改变了格局'——用自监督(MAE、DINO、CLIP)在大规模无标注数据上预训练 ViT,可大幅降低对标注数据的依赖;这是'ViT 数据饥渴'的主要解法(见自监督视觉预训练题)。④ '混合架构的实践'——ConvNeXt(用卷积模仿 Transformer 设计)、Swin(窗口注意力)在'样本效率 vs 灵活性'间折中;实践中'合适先验 + 足够数据'常优于纯架构之争。⑤ '小数据场景'——医疗/工业等小数据领域,CNN 或'预训练 ViT + 微调'更实用(从零训练 ViT 不现实)。⑥ 面试要点——被问'CNN vs ViT',应给出'归纳偏置(局部性/平移等变 vs 全局/弱先验)→ 样本效率 → 数据交叉点'的框架,并说明'VLM 用 ViT 是工程考虑(token 统一)'与'自监督预训练降低了数据需求';这是 CV 基础类问题的核心。
⚠️ 常见面试陷阱与高频失分点
- ✕在小数据上从零训练 ViT(欠拟合)
- ✕忽略 VLM 选 ViT 的工程动机(token 统一)
🎯 面试官连环追问与延伸考察
- ?ViT 需要多少数据才能超越 CNN?
- ?如何给 ViT 注入视觉先验?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!