M6-001M6: 多模态与生成模型视觉编码器Easy
⚡闪卡盲测➔掌握度:

解释 ViT 的 patch embedding 与 token 数计算。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-002 →
📐 核心数学机理公式
N=HP×WP;xi=Wp⋅flatten(patchi)+bN=\frac{H}{P}\times\frac{W}{P};\qquad x_i=W_p\cdot\mathrm{flatten}(\text{patch}_i)+b
⚡ 一句话直击要害答案
把图像切成 P×P 的 patch,线性投影为 token;token 数 = (H/P)×(W/P),故随分辨率平方增长。

📌 核心要点提炼

  • •
    patch 大小 P 决定 token 数(P 越小 token 越多、越细)
  • •
    token 数 = HW/P²,随分辨率平方增长
  • •
    patch embedding 可用线性投影或卷积实现

📐 数学机理与严密推导

数学机理:patch embedding——把 H×W×3 的图像切成 P×P 的非重叠 patch(共 N=(H/P)×(W/P) 个),每个 patch 展平为 P²·3 维向量,经线性投影 W_p 映射到 d 维(模型的隐维度),得到 N 个 token。token 数——N = (H/P)×(W/P) = HW/P²,随分辨率平方增长:224×224、P=16 → N=196;448×448 → N=784(4 倍);1024×1024 → N=4096(约 21 倍)。这直接决定注意力的成本(O(N²))与后续 LLM 的上下文占用。patch 大小 P 的权衡——(a) P 小(如 8)——token 更多(更细的粒度、更强的细节能力),但成本 ∝1/P² 增长;(b) P 大(如 32)——token 少(成本低),但细节丢失;(c) 常用 P=14 或 16(与预训练配置匹配)。实现——patch embedding 通常用 stride=P 的卷积实现(等价于切分 + 线性投影,但更高效);此外常加一个可学习的 [CLS] token(用于分类)与位置编码(因为注意力对位置无先验)。注意——ViT 的 patch 划分是固定网格的,故对'非方形图像'或'任意分辨率'需特殊处理(见动态分辨率题);且 patch 边界可能切断物体(对细粒度任务不利)。与 CNN 的对比——CNN 用滑动窗口(重叠、局部),ViT 用非重叠 patch(全局注意力);前者保留更多空间连续性,后者 token 化更彻底(便于与文本 token 统一处理)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'token 数 ∝ HW/P²'是所有成本分析的起点——它决定了注意力的 O(N²) 成本、LLM 的上下文占用、以及 KV cache 的规模;故'图像分辨率的成本是平方级的'。② 'P=14 vs 16'的实践——CLIP-ViT-L/14 用 P=14(224/14=16,N=256);SigLIP 常用 P=16。P 与预训练一致很重要(否则需重新适配)。③ '[CLS] token'的用途——在分类任务中作为全局表示;在 VLM 中通常不用(因为要保留所有 patch token 供 LLM 使用),但保留位置以兼容预训练。④ 'patch 切断物体'的问题——非重叠网格可能把物体切成两半(对细粒度识别、OCR 不利);故有'重叠 patch'、'可变 patch'、以及动态分辨率(按原生分辨率切分)的改进。⑤ '与 LLM 的 token 对齐'——ViT 的 patch token 与文本 token 都是 d 维向量,故可拼接后送入 LLM(这是 VLM 的基础);但视觉 token 数通常远多于文本(一张 448² 图 = 784 token),故需token 压缩(见连接器架构与视觉 token 压缩题)。⑥ 面试要点——被问'ViT 的 token 数怎么算',应给出'N=HW/P²'并指出'成本随分辨率平方增长';能说明'patch 非重叠会切断物体'与'视觉 token 远多于文本'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    忽略 token 数随分辨率平方增长
  • ✕
    patch 大小与预训练配置不一致
🎯 面试官连环追问与延伸考察
  • ?
    P 从 16 降到 8 有什么影响?
  • ?
    ViT 为什么需要位置编码?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-136: 解释 LoRA 的变体(DoRA / LoRA+ / rsLoRA)与秩的选择。📋 返回题库下一题 →M6-002: 比较 CNN 与 ViT 的归纳偏置与数据需求。