Latent Diffusion & DiT Architecture: 解释 DiT 的 patchify 与潜空间序列长度。

Core Concept: DiT 把潜变量切成 patch 并展平为序列；序列长度 = (h/p)×(w/p)，决定注意力的 O(N²) 成本。

数学机理：<strong>DiT 的 patchify</strong>——把潜变量 z∈ℝ^{h×w×c} 切成 p×p 的 patch，每个 patch 线性投影为一个 token（类似 ViT 的 patch embedding）；加上位置编码后送入 Transformer。<strong>序列长度</strong>——N=(h/p)×(w/p)，其中 h=H/8、w=W/8（VAE 的 8 倍下采样）。<strong>具体计算</strong>——(a) <strong>512² 图像</strong> → 潜空间 64×64 → p=2 → N=32×32=<strong>1024</strong> token；(b) <strong>1024² 图像</strong> → 潜空间 128×128 → N=64×64=<strong>4096</strong> token；(c) <strong>2048² 图像</strong> → N=256×256=<strong>16384</strong> token。<strong>注意力成本</strong>——∝N²（全局自注意力）：故 (a) 512² 的成本基准 1；(b) 1024² 是 <strong>16 倍</strong>（N 增 4 倍 → N² 增 16 倍）；(c) 2048² 是 <strong>256 倍</strong>。<strong>这就是'高分辨率生成极贵'的原因</strong>——成本随<strong>线性分辨率的四次方</strong>增长（因为 N ∝ H²，N² ∝ H⁴）。<strong>缓解手段</strong>——(a) <strong>增大 patch 大小 p</strong>（p=4 则 N 减 4 倍，但每个 token 承载更多信息、可能损失细节）；(b) <strong>更大的下采样倍数</strong>（VAE 的 f 从 8 到 16，潜空间更小，但重建质量下降）；(c) <strong>稀疏/窗口注意力</strong>（降低 N² 的依赖，见 M4 的高效注意力）；(d) <strong>分块生成 + 拼接</strong>（把高分辨率图分块生成，避免全局注意力）；(e) <strong>渐进式上采样</strong>（先生成低分辨率再超分）；(f) <strong>Flash Attention</strong>（减少访存，但不改变 N² 的 FLOPs）。<strong>与 LLM 的对比</strong>——DiT 的'序列长度'与 LLM 的'上下文长度'同源（都是注意力的 O(N²)）；故 LLM 的高效注意力技术（Flash、稀疏、线性）可直接借鉴——这是'DiT 与 LLM 统一'的又一好处。<strong>实践配置</strong>——(a) DiT-XL/2 用 p=2（ImageNet 256² → N=256）；(b) SD3 的 MMDiT 用 p=2；(c) Flux 用 p=2；(d) 高分辨率模型（如 4K 生成）常用'分块 + 超分'而非'直接高分辨率'。<strong>位置编码</strong>——DiT 用<strong>可学习的位置编码</strong>（固定网格）；若分辨率可变，需 2D RoPE 或插值（与视觉编码器同源）。<strong>度量</strong>——(a) 序列长度与注意力成本；(b) 不同 patch 大小下的质量（p 大则快但可能损失细节）；(c) 高分辨率的延迟。

深度剖析与工程权衡：① <strong>'成本 ∝ 线性分辨率的四次方'是关键量化</strong>——H→2H 则成本 ×16；这解释了'为什么高分辨率生成是核心难题'。② <strong>'patch 大小的权衡'</strong>——p 大则省算力但每 token 承载更多（可能损失细节）；故需在'成本 vs 细节'间选。③ <strong>'VAE 下采样倍数与 patch 大小的协同'</strong>——两者都影响序列长度；故可联合调优（如 f=8 + p=2 vs f=16 + p=1）。④ <strong>'与 LLM 技术复用'</strong>——Flash Attention、稀疏注意力、量化都可用；这是 DiT 的工程优势。⑤ <strong>'分块生成的取舍'</strong>——避免全局注意力的成本，但需处理'块间一致性'（边界接缝、全局构图）；故常用于'超分'或'纹理生成'。⑥ <strong>面试要点</strong>——被问'DiT 的序列长度'，应给出'<strong>N=(H/8/p)² + 注意力成本 ∝N² → 成本 ∝H⁴</strong>'与'<strong>缓解（增大 p / 更大下采样 / 稀疏注意力 / 分块 + 超分）</strong>'；能给出'512²→1024、1024²→4096'的量化直觉是深度理解的标志。