扩散模型切片与多 GPU 拓扑放置

扩散模型切片与多 GPU 拓扑放置架构 (Diffusion Model Pipeline Slicing & Multi-GPU Topology Placement) 是在部署百亿参数扩散模型（如 SDXL, Flux.1, SD3, DiT-based Sora-scale Video Models）时，根据模型内部异构子组件的计算与显存特性，将网络进行合理切片并放置到不同 GPU 硬件上的分布式服务编排技术；标准扩散系统包含三大性质迥异的子模块：1) 文本编码器 (Text Encoders: 如 CLIP ViT-L + T5-XXL，计算量小但显存占用大 $\sim 10\text{GB}$，仅前向单次)；2) 扩散去噪主干 (Denoising Backbone: UNet 或 MM-DiT，参数量 3B~12B，需自回归迭代 20~50 步，占总计算量的 $90\%+$)；3) VAE 图像/视频编解码器 (VAE Decoder: 单次前向，高分辨率下显存激增但无需多步迭代)；通过将 Text Encoder 共享放置于 CPU/廉价 GPU，主去噪网络采用张量并行 (Tensor Parallelism) 跨多卡切分，VAE 采用分块切片解码 (Tiled VAE)，最大化多卡流水线吞吐。

工业级 Stable Diffusion 绘画集群、百亿参数 Flux.1 生成服务、大显存高分辨率视频生成推理系统。

单张 24GB 显卡（如 RTX 4090/A10）无法直接加载 T5 + 12B DiT + VAE 全套模型导致爆显存 (OOM)；即使放得下，去噪循环等待 Text Encoder 也会造成 GPU 计算核心闲置；模型切片流水线实现了异构组件的高效复用与跨卡负载均衡。

详细画出 Text Encoder (单次前向) $\to$ DiT/UNet (20-50 步去噪循环) $\to$ VAE Decoder (单次高分重建) 的跨 GPU 流水线放置与数据通信拓扑？

在单卡显存受限场景下，Sequential CPU Offloading (按执行时序逐层将子模型在 CPU RAM 与 GPU VRAM 间换入换出) 的设计与延迟代价？

超大尺寸图像解码时的 Tiled VAE (分块分片解码与边缘平滑羽化融合) 如何将 VAE 显存从 32GB 压缩至 2GB？

针对百亿参数 DiT 模型的张量并行 (Tensor Parallelism: TP=2/TP=4) 与序列并行 (Sequence Parallelism) 在去噪步数上的通信开销优化？

模型权重共享与多租户 LoRA 动态外挂：如何在固定的基础 DiT 模型上并发加载与热切换数百个不同画风的微调 LoRA 权重？