M6-053M6: 多模态与生成模型引导与采样Easy
⚡闪卡盲测➔掌握度:

比较 classifier guidance 与 CFG。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-054 →
📐 核心数学机理公式
CG: ∇log⁡p(x∣c)=∇log⁡p(x)+γ∇log⁡p(c∣x);CFG: (1−s)∇log⁡p(x)+s∇log⁡p(x∣c)\text{CG}:\ \nabla\log p(x|c)=\nabla\log p(x)+\gamma\nabla\log p(c|x);\qquad \text{CFG}:\ (1-s)\nabla\log p(x)+s\nabla\log p(x|c)
⚡ 一句话直击要害答案
classifier guidance 需额外训练分类器并对 score 求梯度;CFG 用同一模型的条件/无条件预测,无需额外模型、更简单且效果更好。

📌 核心要点提炼

  • •
    CG:额外训练分类器 p(c|x),对 score 加 γ·∇log p(c|x)
  • •
    CFG:用同一模型的条件/无条件预测组合,无需额外模型
  • •
    CFG 更简单、更有效、可处理任意条件(文本/图像)

📐 数学机理与严密推导

数学机理:classifier guidance(CG,Dhariwal & Nichol 2021)——利用贝叶斯法则把条件 score 分解:∇_x log p(x|c)=∇_x log p(x)+∇_x log p(c|x)。故做法是:(a) 训练无条件扩散模型(∇log p(x));(b) 额外训练一个噪声分类器 p_θ(c|x_t)(对加噪图像分类,预测类别/条件);(c) 采样时组合:∇log p̂=∇log p(x)+γ·∇_x log p_θ(c|x_t),其中 γ 是引导强度。缺陷——(a) 需额外训练分类器(增加训练成本与复杂度);(b) 分类器在噪声输入上难训(要适应所有噪声水平);(c) 难以处理复杂条件——分类器需输出'条件的概率',对'文本 prompt'这类开放、组合的条件几乎不可行(无法枚举所有文本);(d) 对抗攻击脆弱——分类器可被'对抗样本'欺骗,导致引导失效。CFG(classifier-free guidance)——不训练分类器,而是用同一个模型的'条件预测'与'无条件预测'的差作为引导方向(见上一题)。优势——(a) 无需额外模型(省训练成本);(b) 可处理任意条件(文本、图像、类别、深度图等,只要能在训练时作为条件输入);(c) 更有效(实证上 CFG 的生成质量优于 CG);(d) 实现简单(只需随机丢条件的训练技巧)。代价——(a) 推理成本 ×2(两次前向);(b) 需'随机丢条件'的训练设置。理论关系——两者都是'对 score 做线性组合';差异在'引导项从哪来':CG 用外部分类器(显式建模 p(c|x)),CFG 用同一模型的隐式差(隐式建模 p(c|x) 的方向)。为什么 CFG 成为主流——因为它更简单、更通用(尤其对文本条件)、效果更好;故现代扩散模型(Stable Diffusion、DALL-E 2 之后的模型)几乎都用 CFG。其他引导——(a) 多条件引导(多个条件的 score 加权组合);(b) 负向引导(用负向提示作为'无条件'的位置);(c) 动态引导(不同时间步用不同 s);(d) 自引导(self-guidance)(用模型自身的不同层/尺度做引导)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'CFG 可处理文本条件'是关键优势——CG 的分类器无法对'任意文本'输出概率;故文本条件生成必须用 CFG(或类似方法)。② '推理成本 ×2 vs 训练成本'——CG 用训练成本(分类器)换推理成本(单次前向?——不,CG 也需两次:无条件 + 分类器梯度);实际上两者推理都需要额外计算。CFG 的优势主要在'无需训练分类器 + 通用性'。③ '引导强度 γ 与 s 的对应'——两者都是'放大条件影响'的旋钮;但 CFG 的 s 与 CG 的 γ 在数值上不对应(因为引导项的定义不同)。④ '对抗脆弱性'是 CG 的独特问题——分类器可被欺骗;CFG 无此问题(因为引导来自模型自身)。⑤ '与'多条件'的扩展'——CFG 天然支持多条件(多个条件的差相加);CG 需为每个条件训练分类器。⑥ 面试要点——被问'CG vs CFG',应给出'CG 需额外分类器 + 难处理文本条件 + 对抗脆弱'与'CFG 用同一模型的差 + 通用 + 更有效 + 成本 ×2';能指出'两者都是 score 线性组合、差异在引导项来源'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 CG 也能处理文本条件(分类器无法枚举文本)
  • ✕
    忽略 CG 需额外训练分类器
🎯 面试官连环追问与延伸考察
  • ?
    CG 的主要缺陷?
  • ?
    为什么 CFG 能处理'文本'条件而 CG 难以处理?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-052: 解释 Classifier-Free Guidance 的公式与作用。📋 返回题库下一题 →M6-054: 解释 guidance scale 的权衡。