M6-063M6: 多模态与生成模型Latent Diffusion 与 DiTHard
⚡闪卡盲测➔掌握度:

解释 CFG 在 DiT 中的实现与成本。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-064 →
📐 核心数学机理公式
batch trick: [z; z] with [c; ∅]→[ϵc; ϵ∅];FLOPs×2\text{batch trick}:\ [z;\ z]\ \text{with}\ [c;\ \varnothing]\to[\epsilon_c;\ \epsilon_\varnothing];\qquad \text{FLOPs}\times2
⚡ 一句话直击要害答案
DiT 用 adaLN 注入条件,故'无条件'即把条件置空;实现上用 batch 拼接一次前向,成本仍 ×2(FLOPs)。

📌 核心要点提炼

  • •
    DiT 的条件经 adaLN 注入;无条件即把条件设为 null/零
  • •
    实现:把条件与无条件拼成一个 batch,一次前向算两个预测
  • •
    FLOPs 仍 ×2(两次前向的计算量),但墙钟时间接近 1 次

📐 数学机理与严密推导

数学机理:DiT 中的 CFG 实现——(1) 无条件的表示——DiT 用 adaLN-Zero 注入条件(时间步 t + 类别/池化文本 c);故'无条件'即把 c 替换为空条件(null/零嵌入,训练时随机丢条件时用到的那个);实现上非常自然(只需改 adaLN 的输入)。(2) batch 拼接技巧——把潜变量 z 复制一份(batch 维拼接):输入 [z; z] 配 [c; ∅],一次前向得到 [ε_θ(z,c); ε_θ(z,∅)];再用 CFG 公式组合。收益——(a) 减少 kernel 启动与内存往返(一次前向 vs 两次);(b) 墙钟时间接近单次前向(在小 batch 时尤其明显,因为 GPU 未饱和);(c) 实现简单(只需拼接)。(3) 成本的真实情况——FLOPs 仍 ×2(因为 batch 翻倍,计算量翻倍);故'批量并行不省 FLOPs,只省墙钟时间'(在未饱和时)。(4) 与 U-Net 的对比——U-Net 用 cross-attention 注入文本,'无条件'即把 cross-attention 的 K/V 设空;原理相同。DiT 特有的细节——(a) classifier-free 的'类别'(ImageNet 生成)——无条件即把类别设为 null(DiT 论文的做法);(b) 文本条件(SD3/Flux)——无条件即用空文本/零嵌入;(c) MMDiT 双流——文本与图像双流,无条件时文本流用空嵌入。成本优化——(a) batch 拼接(必做);(b) CFG distillation(把两次合并为一次,需训练);(c) 只对部分步用 CFG;(d) s=1 时省一次(此时退化为条件预测);(e) 减少步数(更好的求解器)。能否复用 KV——(a) 自注意力的 KV——条件与无条件的输入 z 相同(都是同一个 x_t),故自注意力的 KV 可复用(因为自注意力的 KV 来自 z,与条件无关);(b) 但 adaLN 的调制不同(γ、β 依赖条件),故中间激活不同,无法完全复用;(c) 故'KV 复用'在 DiT 中收益有限(因为条件通过 adaLN 影响每一层,而非仅注意力)。这与 U-Net 的 cross-attention 不同——在 cross-attention 中,无条件只需把 K/V 置空,但自注意力的 KV 与 FFN 的计算仍需完整跑两遍(因为中间激活不同);故'复用'的空间有限。度量——(a) 墙钟时间(batch 拼接的收益);(b) FLOPs(不变);(c) 质量(CFG distillation 后是否保持)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '批量并行不省 FLOPs 只省墙钟时间'——这是关键区分;面试中能指出这一点是深度理解的标志。② 'DiT 的无条件很自然'——因为条件经 adaLN 注入,置空即可;这比 U-Net 的 cross-attention 更简单。③ 'KV 复用收益有限'——因为条件通过 adaLN 影响每一层(而非仅注意力);故'复用'无法避免重算。这是 DiT 与'cross-attention 架构'的差异。④ 'CFG distillation 是根本解法'——它把'两次前向'压缩为'一次'(真正减少 FLOPs);代价是训练。⑤ 's=1 时省一次前向'——因为此时 CFG 公式退化为条件预测;故'无需引导'的场景可省一半。⑥ 面试要点——被问'DiT 怎么实现 CFG',应给出'条件经 adaLN 注入 → 无条件即置空 → batch 拼接一次前向 → FLOPs 仍 ×2 但墙钟接近 1 次'与'KV 复用收益有限(因为 adaLN 影响每层)';能指出'CFG distillation 是根本解法'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 batch 拼接能减少 FLOPs(只省墙钟时间)
  • ✕
    以为 DiT 能像 cross-attention 那样复用 KV
🎯 面试官连环追问与延伸考察
  • ?
    为什么'无条件'在 DiT 中很自然?
  • ?
    KV 能否复用来省成本?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-062: 解释 VAE 在 Latent Diffusion 中的角色与训练。📋 返回题库下一题 →M6-064: 解释分辨率外推与训练分辨率的关系。