Latent Diffusion & DiT Architecture: 解释 DiT 为什么取代 U-Net。

Core Concept: DiT 用纯 Transformer（patchify 潜变量 + adaLN 条件）替代 U-Net，扩展性更好、与 LLM 架构统一、生成质量更高。

数学机理：<strong>DiT（Diffusion Transformer，Peebles & Xie 2023）</strong> 用<strong>纯 Transformer</strong> 替代 U-Net 作为扩散模型的骨干。(1) <strong>patchify</strong>——把潜变量 z（如 64×64×4）切成 patch（如 2×2），线性投影为 token 序列（类似 ViT）；加上位置编码。(2) <strong>Transformer blocks</strong>——标准的 Transformer 层（自注意力 + FFN）。(3) <strong>条件注入</strong>——用 <strong>adaLN-Zero</strong>（自适应层归一化）注入时间步 t 与类别/文本条件（见下一题）。(4) <strong>输出</strong>——最后线性投影回 patch，重组为预测的噪声/速度场。<strong>为什么取代 U-Net</strong>——(a) <strong>Scalability（最关键）</strong>——DiT 论文显示：<strong>DiT 的 FID 随模型规模（Gflops）单调改善</strong>，而 U-Net 的改善会饱和（U-Net 的架构限制了扩展）；故 DiT 可通过'放大模型'持续提升（这与 LLM 的 scaling law 一致）。(b) <strong>架构统一</strong>——DiT 与 LLM 同为 Transformer，可借鉴 LLM 的技术（Flash Attention、RoPE、MoE、量化、并行训练）与基础设施（分布式训练框架）。(c) <strong>归纳偏置的取舍</strong>——U-Net 的卷积/多尺度是'强先验'（样本效率高但上限受限）；DiT 偏置弱（需更多数据/更大模型），但<strong>数据充足时上限更高</strong>（与 ViT vs CNN 的规律一致）。(d) <strong>质量</strong>——DiT-XL/2 在 ImageNet 256² 上达到当时最优 FID（2.27）。(e) <strong>灵活性</strong>——Transformer 易于加入新条件（多模态、控制信号）与新技术（如 adaLN、RoPE）。<strong>U-Net 的优势</strong>——(a) <strong>多尺度</strong>（编码器-解码器 + 跳连接）天然处理'不同尺度的结构'（低层细节 + 高层语义）；(b) <strong>样本效率</strong>（强先验使其在小数据上更好）；(c) <strong>计算效率</strong>（卷积在局部操作上高效）。<strong>现状</strong>——(a) <strong>Stable Diffusion 1.5/XL</strong> 用 U-Net；(b) <strong>SD3、Flux、Sora、以及多数新模型</strong> 用 <strong>DiT（或其变体，如 MMDiT 双流）</strong>；(c) 趋势是 DiT 成为主流（因为可扩展性与统一性）。<strong>DiT 的变体</strong>——(a) <strong>MMDiT（SD3）</strong>——文本与图像<strong>双流</strong> Transformer（各自独立的权重 + 联合注意力）；(b) <strong>DiT 的层级变体</strong>（如 U-DiT 加回多尺度）；(c) <strong>与 LLM 融合</strong>（如用预训练 LLM 作为扩散骨干）。

深度剖析与工程权衡：① <strong>'Scalability 是 DiT 胜出的根本'</strong>——U-Net 的 FID 随规模饱和，DiT 持续改善；这是'架构选择由可扩展性决定'的又一例证（与 Transformer 取代 RNN 同理）。② <strong>'与 LLM 统一'的工程价值巨大</strong>——可复用 LLM 的 (a) 高效 kernel（Flash Attention）、(b) 并行训练框架、(c) 量化与推理优化、(d) 位置编码（RoPE）；这大幅降低了扩散模型的基础设施成本。③ <strong>'归纳偏置的取舍'与 ViT 的规律一致</strong>——弱先验需大数据但上限高；故 DiT 的胜出依赖'大规模数据 + 大模型'。④ <strong>'多尺度是否必要'</strong>——U-Net 的多尺度是强先验；DiT 用'patchify 的不同粒度'或'层级变体'部分替代；有研究表明'多尺度对高分辨率生成仍有帮助'（故有 U-DiT 等混合）。⑤ <strong>'MMDiT 的双流设计'</strong>——文本与图像用<strong>独立的权重</strong>（避免模态干扰）+ <strong>联合注意力</strong>（跨模态交互）；这是 SD3 的关键改进。⑥ <strong>面试要点</strong>——被问'DiT 为什么取代 U-Net'，应给出'<strong>Scalability（DiT 持续改善、U-Net 饱和）+ 与 LLM 统一（复用基础设施）+ 归纳偏置取舍</strong>'；能指出'MMDiT 的双流设计'与'多尺度对高分辨率仍有用'是深度理解的标志。