Latent Diffusion & DiT Architecture: 解释 DiT 的变体（MMDiT 双流 / U-DiT 多尺度）。

Core Concept: MMDiT 让文本与图像各用独立权重 + 联合注意力（避免模态干扰）；U-DiT 加回多尺度以提升高分辨率表现。

数学机理：<strong>两个重要变体</strong>。(1) <strong>MMDiT（Multimodal DiT，SD3）</strong>——(a) <strong>双流设计</strong>——<strong>文本流</strong>与<strong>图像流</strong>各自有<strong>独立的权重</strong>（Q/K/V、FFN 都分开）；(b) <strong>联合注意力</strong>——在每个注意力层，把文本与图像的 token <strong>拼接</strong>后做注意力（即文本可关注图像、图像可关注文本）；(c) <strong>为什么双流优于单流</strong>——若共享权重（如把文本与图像 token 混在一起用同一套参数），则 (i) <strong>模态干扰</strong>（文本与图像的特征分布差异大，共享权重会互相干扰）、(ii) 文本的表征被'图像化'（损害语言理解）；双流使各模态保留自己的表示空间，仅在注意力层交互；(d) <strong>效果</strong>——SD3 论文显示 MMDiT 优于'共享权重的 DiT'，且能同时处理文本与图像（甚至可生成文本）。(2) <strong>U-DiT（或多尺度 DiT）</strong>——(a) <strong>问题</strong>——原始 DiT 是<strong>单尺度</strong>（所有层同分辨率），而 U-Net 的<strong>多尺度</strong>（编码器-解码器 + 跳连接）能同时处理'低层细节'与'高层语义'；单尺度 DiT 在<strong>高分辨率</strong>生成上表现受限（因为'局部细节'与'全局结构'需不同尺度）；(b) <strong>U-DiT 的做法</strong>——把 U-Net 的<strong>多尺度结构</strong>引入 DiT：用'下采样 + 上采样'的层级 Transformer，并在对应层级加<strong>跳连接</strong>；(c) <strong>效果</strong>——U-DiT 在同等计算量下优于单尺度 DiT（尤其高分辨率）；且论文报告可用更少计算达到 DiT-XL 的质量。<strong>其他变体</strong>——(a) <strong>PixArt-α</strong>——用 cross-attention（而非 adaLN）注入 T5 文本（因为 T5 文本较长，adaLN 的池化会丢信息）；(b) <strong>Flux</strong>——MMDiT + <strong>并行注意力</strong>（把文本与图像注意力并行而非串行，提升效率）+ <strong>整流流</strong>（rectified flow）；(c) <strong>Hi-DiT / 层级 DiT</strong>；(d) <strong>DiT-MoE</strong>（用 MoE 扩展容量）；(e) <strong>与 LLM 融合</strong>（用预训练 LLM 作为骨干）。<strong>设计空间的三个维度</strong>——(a) <strong>条件注入</strong>（adaLN / cross-attention / 混合）；(b) <strong>尺度结构</strong>（单尺度 / 多尺度 / 层级）；(c) <strong>模态融合</strong>（共享权重 / 双流 / 独立模型）。<strong>实践</strong>——(a) <strong>SD3/Flux</strong> → MMDiT 双流 + 混合条件注入（adaLN + cross-attention）；(b) <strong>高分辨率生成</strong> → 多尺度（U-DiT 类）或分块 + 超分；(c) <strong>文本较长的场景</strong> → cross-attention（避免池化丢信息）。<strong>度量</strong>——(a) FID/CLIP-score（同等计算量下对比）；(b) 高分辨率的构图正确性；(c) 训练稳定性与可扩展性。

深度剖析与工程权衡：① <strong>'双流避免模态干扰'是 MMDiT 的核心洞察</strong>——文本与图像的特征分布差异大，共享权重会互相干扰；面试中能指出这一点是深度理解的标志。② <strong>'多尺度对高分辨率重要'</strong>——U-Net 的多尺度是强先验（DiT 的单尺度是其局限）；故有 U-DiT 等'加回多尺度'的变体。③ <strong>'条件注入与文本长度的耦合'</strong>——adaLN 用池化文本（丢信息，适合短文本）；cross-attention 用完整序列（适合长文本）；故 SD3/Flux 混合使用。④ <strong>'并行注意力的效率'</strong>——Flux 把文本与图像注意力并行（而非串行），提升 GPU 利用率；这是工程优化。⑤ <strong>'DiT 的变体空间'</strong>——条件注入、尺度结构、模态融合三个维度可组合；故'DiT'已是一族架构（而非单一架构）。⑥ <strong>面试要点</strong>——被问'DiT 有哪些变体'，应给出'<strong>MMDiT（双流 + 联合注意力）+ U-DiT（多尺度）+ PixArt-α（cross-attention 注入）+ Flux（并行注意力 + rectified flow）</strong>'与'<strong>三个设计维度</strong>'；能指出'双流避免模态干扰'与'多尺度对高分辨率重要'是深度理解的标志。