Latent Diffusion & DiT Architecture: 解释 Latent Diffusion 为什么能省算力。

Core Concept: 把扩散过程从像素空间搬到 VAE 的低维潜空间，计算量降 10~100 倍且质量损失小。

数学机理：<strong>Latent Diffusion（LDM，Rombach 等 2022）</strong> 的核心——(1) <strong>两阶段</strong>——(a) 训练一个 <strong>VAE</strong>（自编码器），把图像 x∈ℝ^{H×W×3} 编码为<strong>低维潜变量</strong> z=E(x)∈ℝ^{h×w×c}（Stable Diffusion 用 8 倍空间下采样：h=H/8、w=W/8、c=4）；(b) <strong>扩散过程在潜空间 z 上进行</strong>（而非像素空间 x）。(2) <strong>为什么省算力</strong>——(a) <strong>空间尺寸缩小 8×8=64 倍</strong>——512×512 → 64×64；(b) <strong>通道数从 3 到 4</strong>（略增）；(c) 故<strong>总元素数</strong>从 512×512×3≈786k 降到 64×64×4≈16k（约 <strong>48 倍</strong>）；(d) 注意力的复杂度 ∝ 元素数的<strong>平方</strong>（若用全局注意力）或 ∝ 元素数×序列长度，故实际加速可达 <strong>数十到上百倍</strong>。(3) <strong>质量损失小的原因</strong>——(a) <strong>VAE 学习了一个'感知上等价'的压缩</strong>（重建误差在感知上可接受）；(b) <strong>扩散只需建模'潜空间的分布'</strong>（比像素空间的分布更紧凑、更易学）；(c) <strong>感知压缩 vs 语义压缩</strong>——LDM 论文强调'VAE 提供的是<strong>感知压缩</strong>（去掉感知上不重要的细节），而非'语义压缩'（不像 CLIP 那样丢细节）'；故<strong>细节仍保留</strong>（重建质量高）。(4) <strong>解码</strong>——生成潜变量后，用 VAE 解码器 D(z) 一次性还原为像素图像（只一次，成本可接受）。<strong>为什么不在像素空间</strong>——(a) 计算量 ∝ 分辨率的平方（注意力）；(b) 像素空间的数据维度极高（512²×3），分布复杂（难以学习）；(c) 而潜空间维度低（64²×4）、分布更'结构化'（更适合扩散）。<strong>代价</strong>——(a) <strong>VAE 的重建上限</strong>——潜空间压缩是<strong>有损的</strong>，故生成质量受 VAE 重建质量限制（若 VAE 重建模糊，则生成也模糊）；(b) <strong>额外训练</strong>（VAE 需单独训练）；(c) <strong>潜空间的'语义性'有限</strong>（不适合直接做语义编辑，需解码后操作）。<strong>实证</strong>——LDM 在 512² 上比像素空间扩散快约 10~100 倍，且 FID 相当或更好；这使'消费级 GPU 生成高分辨率图像'成为可能（Stable Diffusion 的基础）。

深度剖析与工程权衡：① <strong>'计算量 ∝ 分辨率平方'是省算力的根本</strong>——空间下采样 8 倍 → 元素数降 64 倍 → 注意力成本降约 4096 倍（若全局注意力）；这是'数十到上百倍加速'的来源。② <strong>'感知压缩而非语义压缩'是关键设计</strong>——VAE 保留细节（不像 CLIP 丢细节），故生成质量高；若用'语义压缩'（如 CLIP 潜空间）则细节会丢失。③ <strong>'VAE 是质量上限'</strong>——若 VAE 重建模糊/有伪影，生成结果也受限；故后续工作改进 VAE（如 SDXL 的更大 VAE、Flux 的改进自编码器）。④ <strong>'潜空间通道数 c=4'的权衡</strong>——c 越大保留信息越多但计算越多；4 是实践折中。⑤ <strong>'与视频/3D 的扩展'</strong>——同样的思路用于视频（时空 VAE，时间维也压缩）与 3D（3D VAE）；这是'潜空间扩散'的通用范式。⑥ <strong>面试要点</strong>——被问'LDM 为什么省算力'，应给出'<strong>VAE 压缩 8 倍空间（元素数降 64 倍）+ 扩散在潜空间 + 计算 ∝ 分辨率平方 → 数十到上百倍加速</strong>'与'<strong>感知压缩（保细节）是质量关键</strong>'；能指出'VAE 是质量上限'是深度理解的标志。