K1Medium★ 工业基石 (核心高频)Part K · 生成模型与多模态扩散

DDPM 前向加噪扩散过程(重参数化与闭式解)

⚡闪卡盲测➔

扩散模型核心基石,高斯马尔可夫链的累乘属性,使得任意时间步 t 的加噪图像可由原图一步闭式直达。

⏱️ 时间复杂度: O(B * C * H * W) 单步闭式计算
💾 空间复杂度: O(T) 预计算调度缓存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class DDPMForwardDiffusion:
def __init__(self, timesteps: int = 1000, beta_start: float = 1e-4, beta_end: float = 0.02):
self.timesteps = timesteps
# 1. 线性噪声调度 (Linear Beta Schedule)
self.betas =
self.alphas = 1.0 - self.betas
# 2. 累乘 alpha_bar
self.alphas_cumprod = np.cumprod(self.alphas, axis=0)
self.sqrt_alphas_cumprod = np.sqrt(self.alphas_cumprod)
self.sqrt_one_minus_alphas_cumprod = np.sqrt(1.0 - self.alphas_cumprod)
def q_sample(self, x_0: np.ndarray, t: np.ndarray, noise: np.ndarray = None) -> np.ndarray:
"""
闭式加噪:一步直接获得 x_t
参数:
x_0: (B, C, H, W) 原始清晰输入图像
t: (B,) 随机时间步索引 (0 <= t < timesteps)
noise: (B, C, H, W) 标准高斯噪声,若 None 则自动采样
"""
if noise is None:
noise = np.random.randn(*x_0.shape)
# 提取当前时间步的系数并重塑为 (B, 1, 1, 1) 供广播
sqrt_alpha_bar = self.sqrt_alphas_cumprod[t][:, np.newaxis, np.newaxis, np.newaxis]
sqrt_one_minus_alpha_bar = self.sqrt_one_minus_alphas_cumprod[t][:, np.newaxis, np.newaxis, np.newaxis]
# 核心闭式公式: sqrt(alpha_bar) * x_0 + sqrt(1 - alpha_bar) * noise
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: DDPM 训练时的损失函数是什么?模型预测的目标是原始图像 x_0 还是噪声 epsilon?
下一题: DDPM 反向去噪步模拟(均值方差逆向采样) →
💡

实战一句话记忆口诀

单步马尔可夫,累乘成阿尔法棒,一步闭式加噪声,训练无需逐级走

📐 核心数学公式与机理推导

q(xt∣x0)=N(xt; αˉtx0, (1−αˉt)I)  ⟹  xt=αˉtx0+1−αˉtϵq(x_t \mid x_0) = \mathcal{N}\left(x_t; \, \sqrt{\bar{\alpha}_t} x_0, \, (1 - \bar{\alpha}_t) \mathbf{I}\right) \implies x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon
### 马尔可夫加噪链与方差累乘推导
Jonathan Ho 等人在 2020 年发表 DDPM。
单步加噪为:xt=αtxt−1+1−αtϵt−1x_t = \sqrt{\alpha_t} x_{t-1} + \sqrt{1 - \alpha_t} \epsilon_{t-1},其中 αt=1−βt\alpha_t = 1 - \beta_t。
递归展开至初始真实图像 x0x_0:
xt=αt(αt−1xt−2+1−αt−1ϵt−2)+1−αtϵt−1x_t = \sqrt{\alpha_t} (\sqrt{\alpha_{t-1}} x_{t-2} + \sqrt{1 - \alpha_{t-1}} \epsilon_{t-2}) + \sqrt{1 - \alpha_t} \epsilon_{t-1}
由于两个独立高斯变量相加依然是高斯变量:N(0,σ12I)+N(0,σ22I)=N(0,(σ12+σ22)I)\mathcal{N}(0, \sigma_1^2 \mathbf{I}) + \mathcal{N}(0, \sigma_2^2 \mathbf{I}) = \mathcal{N}(0, (\sigma_1^2 + \sigma_2^2) \mathbf{I})。
定义累乘因子 αˉt=∏s=1tαs\bar{\alpha}_t = \prod_{s=1}^t \alpha_s:
xt=αˉtx0+1−αˉtϵ,ϵ∼N(0,I)x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I})
性质:训练时完全无需从 t=1t=1 一步一步模拟前向,直接随机抽取一个时间步 tt,一次公式计算即可生成对应的加噪带噪声训练样本!

🔄 张量维度与形状流转说明

x_0: (B, C, H, W), t: (B,) -> 提取 sqrt_alpha_bar -> 与高斯噪声加权 -> x_t: (B, C, H, W)

🛡️ 数值稳定性自检与边界要点

  • 调度系数在初始化时必须以 float64 双精度预计算 cumprod,防止上千步累乘发生极小下溢
  • 时间步 t 是从 0 到 timesteps-1 的离散整数
  • 在 t=timesteps-1 时,alpha_bar 趋近于 0,图像几乎完全沦为纯各向同性高斯白噪声

💻 完整参考代码实现

import numpy as np

class DDPMForwardDiffusion:
    def __init__(self, timesteps: int = 1000, beta_start: float = 1e-4, beta_end: float = 0.02):
        self.timesteps = timesteps
        # 1. 线性噪声调度 (Linear Beta Schedule)
        self.betas = np.linspace(beta_start, beta_end, timesteps, dtype=np.float64)
        self.alphas = 1.0 - self.betas
        # 2. 累乘 alpha_bar
        self.alphas_cumprod = np.cumprod(self.alphas, axis=0)
        self.sqrt_alphas_cumprod = np.sqrt(self.alphas_cumprod)
        self.sqrt_one_minus_alphas_cumprod = np.sqrt(1.0 - self.alphas_cumprod)
        
    def q_sample(self, x_0: np.ndarray, t: np.ndarray, noise: np.ndarray = None) -> np.ndarray:
        """
        闭式加噪:一步直接获得 x_t
        参数:
            x_0: (B, C, H, W) 原始清晰输入图像
            t: (B,) 随机时间步索引 (0 <= t < timesteps)
            noise: (B, C, H, W) 标准高斯噪声,若 None 则自动采样
        """
        if noise is None:
            noise = np.random.randn(*x_0.shape)
            
        # 提取当前时间步的系数并重塑为 (B, 1, 1, 1) 供广播
        sqrt_alpha_bar = self.sqrt_alphas_cumprod[t][:, np.newaxis, np.newaxis, np.newaxis]
        sqrt_one_minus_alpha_bar = self.sqrt_one_minus_alphas_cumprod[t][:, np.newaxis, np.newaxis, np.newaxis]
        
        # 核心闭式公式: sqrt(alpha_bar) * x_0 + sqrt(1 - alpha_bar) * noise
        return sqrt_alpha_bar * x_0 + sqrt_one_minus_alpha_bar * noise

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
diff = DDPMForwardDiffusion(timesteps=100)
x_0 = np.ones((2, 3, 16, 16))
t = np.array([0, 99])
x_t = diff.q_sample(x_0, t)
assert x_t.shape == (2, 3, 16, 16)
# t=0 时 alpha_bar 接近 1,应非常接近 x_0
assert np.isclose(x_t[0].mean(), 1.0, atol=0.1)
print("✓ DDPM 前向加噪闭式计算自测通过")

🎯 核心工程追问与标准应答

Q1:DDPM 训练时的损失函数是什么?模型预测的目标是原始图像 x_0 还是噪声 epsilon?
模型预测的是注入的标准高斯噪声 ϵ\epsilon。损失函数采用简化的均方误差:Lsimple=Et,x0,ϵ[∥ϵ−ϵθ(xt,t)∥2]\mathcal{L}_{\text{simple}} = \mathbb{E}_{t, x_0, \epsilon}[\|\epsilon - \epsilon_\theta(x_t, t)\|^2]。Jonathan Ho 实验发现直接预测噪声 ϵ\epsilon 相比预测 x0x_0 能够让网络在各个时间步分配更均衡的梯度权重,画质显著更优。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Hybrid Search:权限预过滤与 RRF 倒数排名融合返回 Part K 与全部 105 题下一题: DDPM 反向去噪步模拟(均值方差逆向采样) →