M6-052M6: 多模态与生成模型引导与采样Easy
⚡闪卡盲测➔掌握度:

解释 Classifier-Free Guidance 的公式与作用。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-053 →
📐 核心数学机理公式
ϵ^=ϵθ(xt,∅)+s(ϵθ(xt,c)−ϵθ(xt,∅))\hat\epsilon=\epsilon_\theta(x_t,\varnothing)+s\left(\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\varnothing)\right)
⚡ 一句话直击要害答案
用'条件预测'与'无条件预测'的差放大条件影响:ε̂=ε(∅)+s(ε(c)−ε(∅));s>1 增强条件遵循、降低多样性。

📌 核心要点提炼

  • •
    同时算'有条件'与'无条件'预测,用差作为'条件方向'
  • •
    s 是引导强度:s=1 无引导、s>1 增强条件、s=0 无条件
  • •
    s 越大越贴合 prompt,但多样性下降、可能过饱和

📐 数学机理与严密推导

数学机理:CFG(Classifier-Free Guidance,Ho & Salimans 2022)——(1) 两次预测——同一次前向中(或用 batch 并行)计算 (a) 条件预测 ε_θ(x_t,c)(c 为文本 prompt);(b) 无条件预测 ε_θ(x_t,∅)(条件置空)。(2) 组合——ε̂=ε_θ(x_t,∅)+s·(ε_θ(x_t,c)−ε_θ(x_t,∅)),其中 s 是引导强度。(3) 采样——用 ε̂ 代替 ε_θ 做去噪步。为什么'差'是条件方向——从 score 视角:ε 与 score 成正比(∇log p=−ε/√(1−ᾱ_t)),故'条件预测 − 无条件预测'正比于'∇log p(x|c)−∇log p(x)'——即条件对分布的'影响方向'('要让图像更像 c 应该往哪走')。故 CFG 等价于:∇log p̂=∇log p(x)+s·(∇log p(x|c)−∇log p(x))=(1−s)∇log p(x)+s·∇log p(x|c)——即把'无条件'与'有条件'的 score 做线性组合(当 s>1 时,条件 score 被放大、无条件被'负向'计入)。(4) s 的效应——(a) s=1 → 退化为'纯条件预测'(无引导);(b) s>1 → 增强条件遵循(更贴合 prompt)但多样性下降、可能'过饱和'(色彩过艳、结构僵硬);(c) s=0 → 无条件生成(忽略 prompt);(d) 常用 s=7~12(Stable Diffusion 默认 7.5)。(5) 训练方式——训练时随机丢弃条件(如 10% 概率把 c 置空)并让模型同时学'有条件'与'无条件'预测;这样推理时才有 ε_θ(x_t,∅) 可用(这是 CFG 的关键训练技巧)。为什么有效(直觉)——(a) 无条件预测提供'基础分布'(通用的、符合数据的图像);(b) 条件预测提供'朝 prompt 的方向';(c) 放大这个方向(s>1)使结果更强地满足 prompt——代价是偏离数据分布(过度放大导致不自然)。与 classifier guidance 的对比——classifier guidance 需额外训练一个分类器并对 score 求梯度(见下一题);CFG 不需要额外模型(用同一个模型的条件/无条件预测)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '随机丢弃条件训练'是 CFG 的前提——若不这样做,模型没有'无条件预测'的能力,CFG 无法使用;这是实现中最易漏的细节。② 'score 线性组合'是 CFG 的理论解释——它把 CFG 从'经验技巧'提升为'有理论依据的方法';面试中能给出这一解释是深度理解的标志。③ 's>1 的代价'——过度引导会 (a) 降低多样性(不同种子给出相似结果)、(b) 产生'过饱和/过锐'的伪影(因为放大了'超出数据分布的方向')、(c) 损害'提示之外的合理性'(如生成不合物理的物体)。④ 'CFG 的成本 ×2'——每步需两次前向;这是扩散推理的主要成本之一(见后续题)。⑤ 'CFG 在 DiT 中的实现'——DiT 用 adaLN 注入条件,故'无条件'即把条件设为 null/零;实现上常用'batch 拼接'(条件与无条件合成一个 batch)一次前向完成(见 DiT 的 CFG 题)。⑥ '与负向提示的关系'——CFG 可推广为'多条件'(如正向 + 负向);负向提示即'用负向文本作为'无条件'的位置'(见负向提示题)。⑦ 面试要点——被问'CFG 是什么',应写出组合公式 + score 线性组合的解释 + s 的效应 + 训练时随机丢条件;能指出'CFG 的成本 ×2'与'过度引导的伪影'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    训练时不随机丢条件(推理无 ε(∅) 可用)
  • ✕
    把 s 调得过大(过饱和、多样性崩塌)
🎯 面试官连环追问与延伸考察
  • ?
    为什么'差'能代表条件方向?
  • ?
    CFG 与 classifier guidance 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-051: 解释扩散模型的 SDE 与 ODE 采样。📋 返回题库下一题 →M6-053: 比较 classifier guidance 与 CFG。