M6-048M6: 多模态与生成模型扩散模型基础Hard
⚡闪卡盲测➔掌握度:
解释 score matching 与扩散的关系。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
扩散的 ε 预测等价于估计 score(∇log p);去噪 score matching 提供了扩散损失的另一种(统一的)推导。
📌 核心要点提炼
- •score = 对数密度的梯度(指向'更高概率'的方向)
- •ε 与 score 成正比:ε = −√(1−ᾱ_t)·∇log p
- •去噪 score matching 给出与 DDPM 损失等价的推导
📐 数学机理与严密推导
数学机理:score 函数——score 定义为对数概率密度的梯度:s(x)=∇_x log p(x);它指向'概率密度增大的方向'(即'更像真实数据'的方向)。为什么 score 能生成——(a) 若知道 score,可用 Langevin 动力学采样:x←x+(η/2)s(x)+√η·z(沿 score 方向移动 + 加噪),迭代后收敛到 p(x);(b) 但直接估计 score 困难(需知道归一化常数);去噪 score matching(DSM) 提供了'无需归一化常数'的估计方法:对数据加噪后,score 可用'去噪方向'表示:∇_x log p_σ(x)=E[(x_0−x)/σ²|x](即'从含噪样本指向干净样本的方向')。与扩散的关系(核心)——在扩散中,x_t=√ᾱ_t x_0+√(1−ᾱ_t)ε;可证明 score 与预测噪声成正比:∇_{x_t}log p_t(x_t)=−ε_θ(x_t,t)/√(1−ᾱ_t)。故 (a) '预测 ε' 等价于 '估计 score';(b) DDPM 的 L_simple 等价于'去噪 score matching'的损失;(c) 两种视角(DDPM 的变分推断 vs score matching)给出等价的训练目标。score-based 生成(Song 等)——用 SDE 统一描述:前向 SDE dx=f(x,t)dt+g(t)dW 把数据变成噪声;反向 SDE dx=[f(x,t)−g²(t)∇log p_t(x)]dt+g(t)dW 从噪声生成数据;其中唯一的未知量是 score ∇log p_t,故'训练 score 网络 = 训练扩散模型'。概率流 ODE——同一个 SDE 对应一个确定性 ODE(dx=[f−½g²∇log p]dt),它与 SDE 有相同的边缘分布;这解释了'DDIM 的确定性采样与 DDPM 的随机采样能得到相似结果'。统一视角的价值——(a) 理论统一——DDPM、DDIM、score-based、Flow Matching 都可用'SDE/ODE + score/向量场'统一描述;(b) 采样器设计——可用 SDE/ODE 的数值方法(高阶求解器、自适应步长);(c) 引导的统一——classifier guidance 与 CFG 都可用 score 的线性组合表达。实践——(a) 训练时用'预测 ε'(等价于 score matching);(b) 采样时可选 SDE(随机,DDPM/Euler-a)或 ODE(确定,DDIM/DPM-Solver);(c) 引导时用 score 的线性组合(见 CFG 题)。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'ε 与 score 成正比'是统一扩散与 score-based 的桥梁——理解它能把两个看似不同的框架统一起来;面试中能给出这个关系式很有说服力。② 'score matching 无需归一化常数'是关键优势——直接估计 score 避免了计算配分函数(不可行);这是'为什么能训练'的原因。③ 'SDE 与 ODE 同边缘分布'解释了 DDIM 的合理性——确定性采样与随机采样都能得到正确的分布;这是'两种采样器共存'的理论基础。④ '统一视角的实用价值'——它使'采样器设计'变成'数值积分方法的选择'(可直接借鉴数值分析的工具),并统一了各种引导方法。⑤ 'Langevin 动力学的直觉'——'沿 score 走 + 加噪'是采样的一般范式;扩散可视为'多尺度 Langevin 动力学'(从大噪声到小噪声逐步精化)。⑥ 面试要点——被问'score matching 与扩散的关系',应给出'score=∇log p + ε 与 score 成正比 + 去噪 score matching 与 DDPM 损失等价 + SDE/ODE 统一框架';能写出 ∇log p_t=−ε/√(1−ᾱ_t) 是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕以为 score matching 与扩散是两套无关的方法
- ✕忽略'概率流 ODE 与 SDE 同边缘分布'这一性质
🎯 面试官连环追问与延伸考察
- ?为什么 score 能用来生成?
- ?score-based 生成(SDE)与 DDPM 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!