Diffusion Models Foundations (DDPM): 解释 v-prediction 与 epsilon-prediction 的差异。

Core Concept: ε-prediction 在高噪声区难（信号弱）；x_0-prediction 在低噪声区难；v-prediction 是两者的平衡，各 SNR 区间难度更均匀。

数学机理：<strong>三种参数化</strong>——它们预测同一个量（去噪方向）的不同线性组合。设 x_t=√ᾱ_t·x_0+√(1−ᾱ_t)·ε：(1) <strong>ε-prediction</strong>——网络输出 ε_θ ≈ ε。(2) <strong>x_0-prediction</strong>——网络输出 x̂_0 ≈ x_0。(3) <strong>v-prediction（Salimans & Ho 2022）</strong>——网络输出 v ≈ √ᾱ_t·ε−√(1−ᾱ_t)·x_0（称为'速度'，因为它是'从 x_0 到 ε 的方向'在 SNR 加权下的表示）。<strong>三者的转换关系</strong>——给定任一，可算出其他两个：x̂_0=(x_t−√(1−ᾱ_t)ε_θ)/√ᾱ_t；ε̂=(x_t−√ᾱ_t x̂_0)/√(1−ᾱ_t)；v=√ᾱ_t ε−√(1−ᾱ_t) x_0。<strong>各 SNR 区间的难度差异</strong>——这是选择参数化的关键：(a) <strong>高噪声区（t 大、ᾱ_t≈0）</strong>——x_t≈ε（几乎纯噪声）；此时'预测 x_0'<strong>极难</strong>（因为 x_0 的信息几乎被噪声淹没，且 x_0 的尺度远大于 ε 的尺度），而'预测 ε'<strong>相对容易</strong>（ε 就是主要成分）。(b) <strong>低噪声区（t 小、ᾱ_t≈1）</strong>——x_t≈x_0；此时'预测 ε'<strong>难</strong>（噪声很小、相对误差大），而'预测 x_0'<strong>容易</strong>。(c) <strong>v-prediction 的平衡</strong>——v 的尺度在各 SNR 区间<strong>更均匀</strong>（因为它对 x_0 与 ε 做了 SNR 加权），故<strong>各时间步的学习难度更均衡</strong>；这使训练更稳定、且对'零终端 SNR'等调度更鲁棒。<strong>实证</strong>——(a) DDPM 默认 ε-prediction；(b) <strong>Stable Diffusion 2.0 / 后续模型</strong> 用 v-prediction（因为配合'零终端 SNR'调度时更稳定）；(c) 在'高分辨率 + 少步采样'场景 v-prediction 优势更明显。<strong>与调度的耦合</strong>——(a) ε-prediction 在'ᾱ_T≈0'（零终端）时，最后几步的任务'过难'（几乎纯噪声下预测噪声仍难？——实际是'预测 ε 在高噪声区容易'）；(b) v-prediction 与'零终端 SNR'配合良好（因为 v 在极端 SNR 下仍有界）；(c) 故'调度 + 参数化'需联合选择。<strong>其他参数化</strong>——(a) <strong>score-prediction</strong>（与 ε 成正比）；(b) <strong>flow-prediction</strong>（Flow Matching 预测速度场，与 v 相关但定义不同）。<strong>实践建议</strong>——(a) <strong>通用</strong> → ε-prediction（最成熟）；(b) <strong>高分辨率/少步/零终端 SNR</strong> → v-prediction；(c) 训练不稳定时可尝试切换参数化。

深度剖析与工程权衡：① <strong>'不同 SNR 区间难度不同'是理解参数化的钥匙</strong>——ε 在高噪声区易、x_0 在低噪声区易；v 平衡两者。② <strong>'v-prediction 与零终端 SNR 配合'</strong>——这是 Stable Diffusion 2.0 等采用 v 的原因；故'参数化 + 调度'需联合设计。③ <strong>'转换关系'的实用价值</strong>——三者可互相转换，故推理时可用任一参数化（甚至混合，如'对高噪声步用 ε、低噪声步用 x_0'）。④ <strong>'高噪声区的数值稳定性'</strong>——x_0-prediction 在高噪声区会输出'极端的 x_0 估计'（因为要除以极小的 √ᾱ_t），导致数值不稳；这是它的主要缺陷。⑤ <strong>'与感知质量的关系'</strong>——有研究表明不同参数化影响'不同噪声水平的生成质量'（如 v 在高噪声区更好）；故选择会影响细节表现。⑥ <strong>面试要点</strong>——被问'v-prediction 是什么'，应给出'<strong>v=√ᾱ_t ε−√(1−ᾱ_t) x_0（速度）+ 各 SNR 区间难度更均衡 + 与零终端 SNR 配合好</strong>'与'<strong>三种参数化可互相转换</strong>'；能指出'x_0-prediction 在高噪声区极难且不稳'是深度理解的标志。