M6-051M6: 多模态与生成模型扩散模型基础Hard
⚡闪卡盲测➔掌握度:

解释扩散模型的 SDE 与 ODE 采样。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M6-052 →
📐 核心数学机理公式
SDE: dx=[f−12g2∇log⁡p]dt+g2dwˉ;ODE: dx=[f−12g2∇log⁡p]dt\text{SDE}:\ dx=[f-\tfrac12g^2\nabla\log p]dt+\sqrt{g^2}d\bar w;\qquad \text{ODE}:\ dx=[f-\tfrac12g^2\nabla\log p]dt
⚡ 一句话直击要害答案
反向 SDE(随机,DDPM/Euler-a)与概率流 ODE(确定,DDIM/DPM-Solver)有相同边缘分布;ODE 可大步长、SDE 多样性更高。

📌 核心要点提炼

  • •
    反向 SDE:含随机项(每步加噪),对应 DDPM 系
  • •
    概率流 ODE:去掉随机项,对应 DDIM/DPM-Solver
  • •
    两者边缘分布相同;ODE 可用大步长、SDE 多样性更高

📐 数学机理与严密推导

数学机理:统一框架(Song 等 2021)——前向过程写成 SDE:dx=f(x,t)dt+g(t)dW(把数据变成噪声);反向 SDE(从噪声生成数据):dx=[f(x,t)−g²(t)∇_x log p_t(x)]dt+g(t)d\bar w,其中 ∇log p_t 由 score 网络提供(与 ε 成正比)。概率流 ODE——对同一个 SDE,存在一个确定性 ODE:dx=[f(x,t)−½g²(t)∇log p_t(x)]dt;关键性质——该 ODE 与反向 SDE 有相同的边缘分布 p_t(x)(即在每个时刻 t,两者的样本分布相同)。因此——(a) 用 SDE 采样(随机)或 ODE 采样(确定)都能得到正确的最终分布;(b) 差异在'路径'与'多样性':SDE 的路径有随机性(不同轨迹)、ODE 的路径确定(给定起点唯一轨迹)。DDPM 与 DDIM 的对应——(a) DDPM 对应某个特定 SDE 的离散化(Euler-Maruyama),每步加噪;(b) DDIM 对应概率流 ODE 的一阶离散化(σ=0);(c) 故'DDPM 与 DDIM 是同一框架的两种采样'。实践中的 SDE 变体——(a) Euler-a(Karras 等)——在 SDE 中引入'时间步相关的噪声尺度'(churn),使各步的噪声注入可控;(b) Langevin 修正——在某些步用 Langevin 动力学提升质量。选择依据——(a) 确定性(ODE)——可复现、可用大步长(少步采样)、支持 inversion(图像编辑)、支持插值;缺点——多样性较低(需靠不同起点)。(b) 随机(SDE)——多样性更高(每步加噪引入变化);在'高分辨率生成'时有时质量更好(有研究显示 SDE 在细节上更优);缺点——不可复现、步数受限(随机项要求小步长)。混合方案——(a) 部分步用 SDE、部分用 ODE;(b) Euler-a 的 churn 调度(在中间步注入噪声);(c) DPM-Solver++(ODE 求解器 + 可选的 SDE 修正)。度量——(a) FID/质量;(b) 多样性(如 recall、LPIPS 分布);(c) 步数与延迟。实践建议——(a) 快速采样 → ODE(DPM-Solver,10~20 步);(b) 编辑/复现 → ODE;(c) 追求细节/多样性 → SDE(Euler-a);(d) 按任务选。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '同边缘分布'是统一框架的核心——它解释了'为什么两种采样都正确';面试中能指出这一点是深度理解的标志。② 'ODE 可大步长'——因为确定性 ODE 的数值积分可用高阶方法(误差可控);而 SDE 的随机项要求小步长。③ 'SDE 多样性更高'——随机项引入变化;但在'同一 prompt 生成多样结果'上,ODE 也可通过不同起点实现(故差异不绝对)。④ 'inversion 需要 ODE'——DDIM inversion 依赖确定性映射(可逆);这是'图像编辑'的基础。⑤ 'Euler-a 的 churn'——它是在 SDE 框架下'可控地注入噪声'(在中间步加噪以提升细节);这是'随机 vs 确定'的连续调节旋钮。⑥ 面试要点——被问'SDE vs ODE 采样',应给出'反向 SDE(随机,DDPM 系)vs 概率流 ODE(确定,DDIM/DPM-Solver)'与'同边缘分布、ODE 可大步长、SDE 多样性更高';能指出'ODE 是 inversion/编辑的基础'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 ODE 与 SDE 采样会得到不同分布(同边缘分布)
  • ✕
    用随机采样做精确 inversion
🎯 面试官连环追问与延伸考察
  • ?
    为什么两者边缘分布相同?
  • ?
    什么时候该用 SDE?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M6-050: 解释扩散模型的条件注入方式(cross-attention / concat / adaLN)。📋 返回题库下一题 →M6-052: 解释 Classifier-Free Guidance 的公式与作用。