DDPM 前向/反向过程

DDPM (Denoising Diffusion Probabilistic Models, 去噪扩散概率模型) 用两条 Markov 链做生成: 前向过程 $q$ 在 $T$ 步内把图像逐步加噪直至标准高斯噪声, 反向过程 $p_\theta$ 学习逐步去噪还原数据。前向单步 $q(x_t \mid x_{t-1}) = \mathcal{N}(x_t;\ \sqrt{1-\beta_t}x_{t-1},\ \beta_t I)$, 因每一步只加独立高斯噪声, 重参数化叠加后任意时刻 $t$ 都有封闭形式:

其中 $\alpha_t = 1 - \beta_t$, 累积噪声调度 $\bar\alpha_t = \prod_{s=1}^{t}\alpha_s$($t$ 越大, 信噪比 $\bar\alpha_t/(1-\bar\alpha_t)$ 越低), 常用线性调度 $\beta_1 = 10^{-4}$ 线性增至 $\beta_T = 0.02$。训练目标由最大化变分下界 (ELBO) 推出: ELBO 每项是后验 $q(x_{t-1} \mid x_t, x_0)$ 与 $p_\theta(x_{t-1} \mid x_t)$ 之间的高斯 KL, 在方差已知时化简为两均值间的 L2; 该均值是 $x_t$ 与噪声 $\epsilon$ 的线性组合, 最终等价于“预测第 $t$ 步被注入的噪声”的简单回归:

采样从 $x_T \sim \mathcal{N}(0, I)$ 出发, 按 $t = T, \dots, 1$ 反向迭代: $x_{t-1} = \dfrac{1}{\sqrt{\alpha_t}}\left(x_t - \dfrac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon_\theta(x_t, t)\right) + \sigma_t z$, 其中 $\sigma_t^2 = \tilde\beta_t$ (后验方差), 末步 $t=1$ 取 $z = 0$。

面试必考“写出 DDPM 训练/采样公式”; 是 Stable Diffusion 等文生图模型与视频/音频生成的底座, 常与“为什么 L2 只回归噪声”连问。

GAN 对抗训练不稳定、易模式坍塌且难调; DDPM 的训练目标是噪声回归 MSE, 一阶优化稳定收敛、多样性好(覆盖全分布), 代价是采样需约 1000 步——由此引出 DDIM、LCM 等加速手段。

写出 DDPM 前向过程的封闭形式 q(x_t|x_0) 与累积噪声调度 ᾱ_t 的定义?

白板推导: 从变分下界 ELBO 到训练损失 L = E[‖ε − ε_θ(x_t,t)‖²], 每项高斯 KL 如何化简?

写出 DDPM 采样迭代公式, 末步为什么不加噪声? σ_t 取什么?

α_t、β_t、ᾱ_t 的关系? 为什么前向可以一步采样到任意时刻 t?

DDPM 相比 GAN 与 VAE 在训练稳定性、样本多样性、采样速度上的差异?