G6EasyPart G · 核心架构与微调技术
ViT Patch Embedding(图片切片投影与序列化)
An Image is Worth 16x16 Words 原理,将 2D 图像划分为小切片并展平成 1D Token 序列,单次卷积等价实现。
⏱️ 时间复杂度:
O(B * H * W * C * D / P^2)💾 空间复杂度:
O(B * N * D)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def vit_patch_embedding_manual(
x: np.ndarray, # (B, C, H, W)
patch_size: int = 16,
d_model: int = 768,
projection_w: np.ndarray = None # (C * P * P, d_model)
) -> np.ndarray:
B, C, H, W = x.shape
P = patch_size
assert H % P == 0 and W % P == 0, "图片宽高必须能被 patch_size 整除"
num_patches_h = H // P
num_patches_w = W // P
num_patches =
# 1. 拆分切片: (B, C, num_h, P, num_w, P)
x = x.reshape(B, C, num_patches_h, P, num_patches_w, P)
# 置换轴: (B, num_h, num_w, P, P, C)
x = x.transpose(0, 2, 4, 3, 5, 1)
# 展平每个 patch: (B, num_patches, P * P * C)
patches = x.reshape(B, num_patches, P * P * C)
# 2. 线性投影到 d_model
if projection_w is None:
projection_w = np.random.randn(P * P * C, d_model) * 0.02
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 如果在测试时输入图片的分辨率改变了(例如从 224x224 增加到 448x448),ViT 的位置编码如何处理?
💡
实战一句话记忆口诀
图按格块切成片,拉成向量做投影,卷积等价十六步,图文同规纳大统
📐 核心数学公式与机理推导
### 图像到序列的离散化投影
Vision Transformer(ViT)将标准 Transformer 无缝迁移到计算机视觉的核心创举在于:将图像当成文本单词处理。
给定输入图片 :
1. 空间切块:按 (如 )划分出 个 Patch;
2. 展平为向量:每个 Patch 展平为一个长度为 的一维特征;
3. 线性投影:通过可学习投影矩阵映射到隐藏维度 ;
工程等价优化技巧:
上述过程数学上完全等价于一个 卷积核大小为 $P \times P$、步长 Stride 为 $P$、输出通道为 $D$ 的单层 Conv2d 卷积!直接调用卷积核即可在 GPU 上毫秒级完成切片与特征映射。
Vision Transformer(ViT)将标准 Transformer 无缝迁移到计算机视觉的核心创举在于:将图像当成文本单词处理。
给定输入图片 :
1. 空间切块:按 (如 )划分出 个 Patch;
2. 展平为向量:每个 Patch 展平为一个长度为 的一维特征;
3. 线性投影:通过可学习投影矩阵映射到隐藏维度 ;
工程等价优化技巧:
上述过程数学上完全等价于一个 卷积核大小为 $P \times P$、步长 Stride 为 $P$、输出通道为 $D$ 的单层 Conv2d 卷积!直接调用卷积核即可在 GPU 上毫秒级完成切片与特征映射。
🔄 张量维度与形状流转说明
(B, C, H, W) -> 切片重塑 -> (B, N, P*P*C) -> 线性投影 -> (B, N, D)
🛡️ 数值稳定性自检与边界要点
- 切片展平后通常需要在序列最开头拼接一个可学习的 [CLS] Token,形状变为 (B, N+1, D)
- 必须叠加对应的 1D 或 2D 位置编码后方可送入 Transformer 编码器
💻 完整参考代码实现
import numpy as np
def vit_patch_embedding_manual(
x: np.ndarray, # (B, C, H, W)
patch_size: int = 16,
d_model: int = 768,
projection_w: np.ndarray = None # (C * P * P, d_model)
) -> np.ndarray:
B, C, H, W = x.shape
P = patch_size
assert H % P == 0 and W % P == 0, "图片宽高必须能被 patch_size 整除"
num_patches_h = H // P
num_patches_w = W // P
num_patches = num_patches_h * num_patches_w
# 1. 拆分切片: (B, C, num_h, P, num_w, P)
x = x.reshape(B, C, num_patches_h, P, num_patches_w, P)
# 置换轴: (B, num_h, num_w, P, P, C)
x = x.transpose(0, 2, 4, 3, 5, 1)
# 展平每个 patch: (B, num_patches, P * P * C)
patches = x.reshape(B, num_patches, P * P * C)
# 2. 线性投影到 d_model
if projection_w is None:
projection_w = np.random.randn(P * P * C, d_model) * 0.02
return patches @ projection_w # (B, num_patches, d_model)
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
# 模拟 32x32 图像,patch_size=16,通道=3
x = np.random.randn(2, 3, 32, 32)
tokens = vit_patch_embedding_manual(x, patch_size=16, d_model=64)
# 32/16 = 2,共 2x2 = 4 个 patches
assert tokens.shape == (2, 4, 64), f"形状不匹配: {tokens.shape}"
print("✓ ViT Patch 切片嵌入自测通过")🎯 核心工程追问与标准应答
Q1:如果在测试时输入图片的分辨率改变了(例如从 224x224 增加到 448x448),ViT 的位置编码如何处理?
当分辨率提升时,Patch 数量相应增加。由于预训练的位置编码向量长度固定,工业做法是将 1D 位置编码恢复为 2D 空间网格形状(如 ),使用双三次插值(Bicubic Interpolation)平滑扩展到新的网格尺寸(如 ),再展平为 1D 注入模型。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!