M6-058M6: 多模态与生成模型引导与采样Hard
⚡闪卡盲测➔掌握度:
解释 CFG 的双倍前向成本与优化手段。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
CFG 需条件与无条件两次前向(成本 ×2);可用 CFG distillation、批量并行或近似合并来降低成本。
📌 核心要点提炼
- •CFG 每步需两次前向(有条件 + 无条件)
- •成本 ×2 是扩散推理的主要开销之一
- •优化:CFG distillation(合并为一次)、批量并行、部分步 CFG、更好求解器
📐 数学机理与严密推导
数学机理:CFG 的公式与成本——ε̂=ε_θ(x_t,∅)+s·(ε_θ(x_t,c)−ε_θ(x_t,∅)),其中 ε_θ(x_t,c) 是条件预测、ε_θ(x_t,∅) 是无条件(空条件)预测。故每步需两次前向(条件 + 无条件),推理成本约为无 CFG 的 2 倍(在'采样步数'相同时)。这是扩散推理的主要成本之一(因为采样本身已需数十步)。优化手段——(1) CFG Distillation——训练一个学生模型,其单次前向的输出直接等于 CFG 的组合结果(ε̂):(a) 学生把 s 作为输入(可调引导强度),用教师(带 CFG)的输出监督;(b) 或用'CFG++'类方法(改进引导的数值形式使其更易蒸馏)。收益——成本减半(2×→1×)。(2) 批量并行——把'条件'与'无条件'两次前向合成一个 batch(batch 维拼接)一次前向完成;收益——不减少计算量(FLOPs 相同),但减少 kernel 启动与内存往返,故墙钟时间可能显著降低(尤其小 batch 时);这是最简单的优化(一行代码)。(3) 近似/部分方法——(a) 只对部分步用 CFG(如前几步用、后几步不用);(b) 用历史步推断无条件预测;(c) CFG++ 的改进形式(减少前向次数)。(4) 减少步数——用更好的求解器(DPM-Solver 10~20 步),从根本上降低'每步成本 × 步数'。(5) 潜空间 + 量化——降低单次前向的成本(见 LDM 与量化题)。与'条件注入方式'的关系——CFG 需要'无条件'前向,故条件注入方式需支持'空条件'(如把文本嵌入设为空/零、把类别设为 null);这是实现细节。与'引导强度 s'的关系——s=1 时公式退化为 ε_θ(x_t,c)(只需一次前向);故'不需要引导'的场景可省一半成本。实践建议——(a) 必做:批量并行(零成本);(b) 值得做:CFG distillation(成本减半,需训练);(c) 可考虑:部分步 CFG、更好的求解器。度量——(a) 每张图的延迟;(b) 质量(FID/CLIP-score);(c) 蒸馏后 s 的可调性是否保持。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'CFG 的成本 ×2'是扩散推理的常识——面试中能指出这一点(而非只说'CFG 提升质量')是深度理解的标志。② '批量并行是零成本优化'——它不减少 FLOPs 但降低墙钟时间(减少 kernel 启动与内存往返);应默认使用。③ 'CFG distillation 的取舍'——成本减半但需训练,且需保持 s 的可调性。④ 's=1 时只需一次前向'——因为公式退化为条件预测;故无需引导时可省一半。⑤ '与少步采样的叠加'——减少步数(10~20 步)与 CFG distillation(减半)叠加,可把总成本降到 1/10 以下。⑥ 面试要点——被问'CFG 的成本',应给出'每步两次前向 → 成本 ×2'与'优化(批量并行零成本 / CFG distillation 减半 / 部分步 CFG / 更好求解器)';能指出'批量并行不减少 FLOPs 但降低墙钟时间'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕忽略 CFG 的双倍前向成本
- ✕不做批量并行(白白浪费墙钟时间)
🎯 面试官连环追问与延伸考察
- ?CFG distillation 怎么做?
- ?批量并行能省时间吗?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!