G6EasyPart G · 核心架构与微调技术

ViT Patch Embedding(图片切片投影与序列化)

⚡闪卡盲测➔

An Image is Worth 16x16 Words 原理,将 2D 图像划分为小切片并展平成 1D Token 序列,单次卷积等价实现。

⏱️ 时间复杂度: O(B * H * W * C * D / P^2)
💾 空间复杂度: O(B * N * D)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def vit_patch_embedding_manual(
x: np.ndarray, # (B, C, H, W)
patch_size: int = 16,
d_model: int = 768,
projection_w: np.ndarray = None # (C * P * P, d_model)
) -> np.ndarray:
B, C, H, W = x.shape
P = patch_size
assert H % P == 0 and W % P == 0, "图片宽高必须能被 patch_size 整除"
num_patches_h = H // P
num_patches_w = W // P
num_patches =
# 1. 拆分切片: (B, C, num_h, P, num_w, P)
x = x.reshape(B, C, num_patches_h, P, num_patches_w, P)
# 置换轴: (B, num_h, num_w, P, P, C)
x = x.transpose(0, 2, 4, 3, 5, 1)
# 展平每个 patch: (B, num_patches, P * P * C)
patches = x.reshape(B, num_patches, P * P * C)
# 2. 线性投影到 d_model
if projection_w is None:
projection_w = np.random.randn(P * P * C, d_model) * 0.02
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 如果在测试时输入图片的分辨率改变了(例如从 224x224 增加到 448x448),ViT 的位置编码如何处理?
下一题: Adam 与 AdamW 优化器(解耦权重衰减) →
💡

实战一句话记忆口诀

图按格块切成片,拉成向量做投影,卷积等价十六步,图文同规纳大统

📐 核心数学公式与机理推导

X∈RH×W×C→Xp∈RN×(P2⋅C),N=HWP2X \in \mathbb{R}^{H \times W \times C} \to X_p \in \mathbb{R}^{N \times (P^2 \cdot C)}, \quad N = \frac{HW}{P^2}
### 图像到序列的离散化投影
Vision Transformer(ViT)将标准 Transformer 无缝迁移到计算机视觉的核心创举在于:将图像当成文本单词处理。
给定输入图片 X∈RB×C×H×WX \in \mathbb{R}^{B \times C \times H \times W}:
1. 空间切块:按 P×PP \times P(如 16×1616 \times 16)划分出 N=HWP2N = \frac{HW}{P^2} 个 Patch;
2. 展平为向量:每个 Patch 展平为一个长度为 P2⋅CP^2 \cdot C 的一维特征;
3. 线性投影:通过可学习投影矩阵映射到隐藏维度 DD;
工程等价优化技巧:
上述过程数学上完全等价于一个 卷积核大小为 $P \times P$、步长 Stride 为 $P$、输出通道为 $D$ 的单层 Conv2d 卷积!直接调用卷积核即可在 GPU 上毫秒级完成切片与特征映射。

🔄 张量维度与形状流转说明

(B, C, H, W) -> 切片重塑 -> (B, N, P*P*C) -> 线性投影 -> (B, N, D)

🛡️ 数值稳定性自检与边界要点

  • 切片展平后通常需要在序列最开头拼接一个可学习的 [CLS] Token,形状变为 (B, N+1, D)
  • 必须叠加对应的 1D 或 2D 位置编码后方可送入 Transformer 编码器

💻 完整参考代码实现

import numpy as np

def vit_patch_embedding_manual(
    x: np.ndarray,          # (B, C, H, W)
    patch_size: int = 16,
    d_model: int = 768,
    projection_w: np.ndarray = None  # (C * P * P, d_model)
) -> np.ndarray:
    B, C, H, W = x.shape
    P = patch_size
    assert H % P == 0 and W % P == 0, "图片宽高必须能被 patch_size 整除"
    
    num_patches_h = H // P
    num_patches_w = W // P
    num_patches = num_patches_h * num_patches_w
    
    # 1. 拆分切片: (B, C, num_h, P, num_w, P)
    x = x.reshape(B, C, num_patches_h, P, num_patches_w, P)
    # 置换轴: (B, num_h, num_w, P, P, C)
    x = x.transpose(0, 2, 4, 3, 5, 1)
    # 展平每个 patch: (B, num_patches, P * P * C)
    patches = x.reshape(B, num_patches, P * P * C)
    
    # 2. 线性投影到 d_model
    if projection_w is None:
        projection_w = np.random.randn(P * P * C, d_model) * 0.02
        
    return patches @ projection_w  # (B, num_patches, d_model)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
# 模拟 32x32 图像,patch_size=16,通道=3
x = np.random.randn(2, 3, 32, 32)
tokens = vit_patch_embedding_manual(x, patch_size=16, d_model=64)
# 32/16 = 2,共 2x2 = 4 个 patches
assert tokens.shape == (2, 4, 64), f"形状不匹配: {tokens.shape}"
print("✓ ViT Patch 切片嵌入自测通过")

🎯 核心工程追问与标准应答

Q1:如果在测试时输入图片的分辨率改变了(例如从 224x224 增加到 448x448),ViT 的位置编码如何处理?
当分辨率提升时,Patch 数量相应增加。由于预训练的位置编码向量长度固定,工业做法是将 1D 位置编码恢复为 2D 空间网格形状(如 14×1414 \times 14),使用双三次插值(Bicubic Interpolation)平滑扩展到新的网格尺寸(如 28×2828 \times 28),再展平为 1D 注入模型。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Pre-LN Transformer 残差块装配(完整层实现)返回 Part G 与全部 105 题下一题: Adam 与 AdamW 优化器(解耦权重衰减) →