M6-056M6: Multimodal & Generative ModelsGuidance & Fast Sampling (CFG / DDIM)Hard
Mastery:

Guidance & Fast Sampling (CFG / DDIM): 解释扩散采样的随机性与可复现性。

📐 Mathematical Definition
det: xT→x0 unique;stoch: xt−1=f(xt)+σtz, z∼N(0,I)\text{det}:\ x_T\to x_0\ \text{unique};\qquad \text{stoch}:\ x_{t-1}=f(x_t)+\sigma_t z,\ z\sim\mathcal{N}(0,I)
⚡ Executive Summary
Core Concept: SDE 采样(DDPM/Euler-a)不可复现;确定性采样(DDIM/DPM-Solver)给定种子可复现;需固定种子与确定性算子。

📌 Key Takeaways

  • •
    确定性采样:给定 x_T(种子)→ 唯一结果(可复现)
  • •
    随机采样:每步注入噪声 → 同种子不同结果
  • •
    可复现需:固定种子 + 确定性算子 + 固定采样器/步数/CFG

📐 Mathematical Derivations

数学机理:<strong>随机性的来源</strong>——(1) <strong>起始噪声 x_T</strong>——从 N(0,I) 采样(种子决定);(2) <strong>采样过程中的噪声注入</strong>——DDPM/Euler-a 每步加 σ_t·z(见 DDIM vs DDPM 题)。<strong>确定性采样(DDIM/DPM-Solver)</strong>——σ_t=0,故 x_T→x_0 是<strong>确定映射</strong>:给定同一个 x_T(由种子决定),结果<strong>完全一致</strong>(可复现)。<strong>随机采样(DDPM/Euler-a)</strong>——每步注入噪声;即使固定起始种子,<strong>中间的噪声采样</strong>仍会引入随机性(除非也固定每个中间噪声的种子);故'同种子不同结果'是常态。<strong>可复现的条件</strong>——(a) <strong>固定起始种子</strong>(决定 x_T);(b) <strong>确定性采样器</strong>(或固定所有中间噪声的种子);(c) <strong>确定性算子</strong>(GPU 上的原子操作/某些 kernel 非确定,见 M3 的可复现性题);(d) <strong>固定的超参</strong>(步数、CFG s、调度、分辨率);(e) <strong>固定的模型版本与精度</strong>(不同版本/精度产生不同结果)。<strong>为什么可复现性重要</strong>——(a) <strong>调试</strong>——无法复现就无法定位问题;(b) <strong>产品</strong>——用户期望'同输入同输出'(尤其需要审计/合规的场景);(c) <strong>A/B 测试</strong>——需控制变量(否则无法归因);(d) <strong>学术对比</strong>——需公平比较。<strong>不可复现的场景与应对</strong>——(a) <strong>追求多样性</strong> → 随机采样(不同种子给不同结果);(b) <strong>追求可复现</strong> → 确定性采样 + 固定种子;(c) <strong>折中</strong> → 用'少量随机步'(如只在中间几步加噪)。<strong>与'编辑'的关系</strong>——<strong>确定性采样支持 inversion</strong>(把真实图像反推到 x_T,再修改 prompt 重新生成);这是图像编辑(SDEdit、prompt-to-prompt、DDIM inversion)的基础;随机采样不可逆(难以精确反推)。<strong>工程实践</strong>——(a) <strong>记录完整配置</strong>(种子、采样器、步数、s、模型版本);(b) <strong>用确定性采样做回归测试</strong>;(c) <strong>多随机种子评估</strong>(因为单次结果有方差,见 M5 的统计显著性问题)。

🏭 Production Trade-offs

深度剖析与工程权衡:① <strong>'确定性采样可复现、随机采样不可'</strong>——这是两者的核心工程差异;面试中能指出是深度理解的标志。② <strong>'可复现需多层固定'</strong>——不只是种子(还有算子确定性、超参、模型版本);这是'可复现性'的完整清单。③ <strong>'确定性采样支持编辑'</strong>——inversion 需要可逆映射;这是 DDIM 在编辑任务中流行的原因。④ <strong>'多样性需靠不同种子'</strong>——确定性采样下,多样性来自 x_T 的随机性;故'同 prompt 生成多图'需换种子。⑤ <strong>'单次结果有方差'</strong>——即使确定性采样,'换种子'也会给出不同结果;故评估需多种子(避免'运气好'的结论)。⑥ <strong>面试要点</strong>——被问'扩散采样可复现吗',应给出'<strong>确定性采样可复现(固定种子 + 确定性算子)+ 随机采样不可 + 可复现的完整清单</strong>'与'<strong>inversion/编辑依赖确定性</strong>';能指出'评估需多种子'是深度理解的标志。
⚠️ Common Interview Pitfalls
  • ✕
    用随机采样做精确的图像编辑(不可逆)
  • ✕
    单种子评估(忽略结果的方差)
🎯 Interviewer Follow-ups
  • ?
    为什么'同种子不同结果'?
  • ?
    可复现性对产品与调试的重要性?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM6-055: Guidance & Fast Sampling (CFG / DDIM): 解释采样器(solver)对质量的影响。📋Back to BankNext →M6-057: Guidance & Fast Sampling (CFG / DDIM): 解释扩散模型的潜在空间编辑(SDEdit / inversion)。