潜空间扩散 (LDM)

Latent Diffusion Model (LDM, 潜空间扩散) 不在像素空间而是在 VAE 的潜空间里做 DDPM, 最后解码回像素。图像 $x \in \mathbb{R}^{H \times W \times 3}$ 由 VAE 编码器压缩为 $z \in \mathbb{R}^{h \times w \times c}$,Stable Diffusion 的空间降维 $8\times$: $512\times 512$ 图像 → $64\times 64\times 4$ 潜变量($c=4$)。扩散去噪全程在 $z$ 上进行:

条件 $c$ (如 CLIP 文本嵌入) 通过交叉注意力注入 U-Net/DiT 的中间层; 采样完成后的 $z_0$ 经 $\mathrm{VAE}_{dec}$ 还原高分辨率图像。整体训练损失含三项: 潜空间扩散重建 + 感知损失 (LPIPS) + 对抗/GAN 项, 并施加轻微 KL 正则, 兼顾像素级逼真与感知质量。架构演进: SD1/2 用 U-Net (自注意力 + 交叉注意力 + 时间嵌入), SD3/Flux 用 MMDiT (混合文本-图像 DiT, patchify + AdaLN-zero 注入时间步与文本条件)。

Stable Diffusion 全系与多数文生图/文生视频模型的底座; 面试常问 “为什么在潜空间而不是像素空间扩散?”、“8× 降维省多少算力?”。

像素空间扩散在 $256\times256$ 以上计算与显存不可承受——注意力与特征图随分辨率平方级增长; 潜空间 $8\times$ 空间降维使特征图面积降为 $1/64$, 训练与采样计算量约降两个数量级, 同时视觉细节由解码器补齐、语义压缩由编码器完成, 且文本/ControlNet 等条件都能在潜空间统一插拔。

为什么 Stable Diffusion 在 VAE 潜空间而不是像素空间扩散? 8× 降维省多少算力?

LDM 的总体训练损失由哪几部分组成? 为什么加感知损失和对抗项?

文本条件如何注入潜空间扩散网络? 交叉注意力在 U-Net/DiT 中的位置?

SD1/2 的 U-Net 与 SD3/Flux 的 MMDiT 在结构上的关键差异?

潜空间扩散相比像素空间扩散在训练速度、显存、图像质量上的权衡?