微调显存开销精确计算与 ZeRO

大模型微调显存开销精确计算模型与 DeepSpeed ZeRO 显存切分选型 (Fine-Tuning VRAM Breakdown Calculator & ZeRO Scaling Matrix) 是 AIE 进行训练硬件集群规划、防止 GPU OOM (Out of Memory) 崩盘的核心工程估算公式体系；大模型微调总显存可精确拆解为五大模块：$M_{\text{total}} = M_{\text{weights}} + M_{\text{gradients}} + M_{\text{optimizer}} + M_{\text{activations}} + M_{\text{temp}}$；全参数 AdamW 微调（按 FP16/BF16 计算，模型参数量为 $\Phi$）：模型权重 $2\Phi$ 字节、梯度 $2\Phi$ 字节、AdamW 优化器状态（一阶动量 FP32 $4\Phi$ + 二阶动量 FP32 $4\Phi$ + 权重主备份 FP32 $4\Phi$ = $12\Phi$ 字节），静态显存合计高达 $16\Phi$ 字节（70B 模型仅静态显存就需要 1120GB！）；通过 ZeRO-1 (分片优化器状态 $\to 4\Phi$ 字节)、ZeRO-2 (再分片梯度 $\to 2\Phi$ 字节)、ZeRO-3 (再分片模型参数 $\to \frac{16\Phi}{N}$ 字节)，以及结合 FlashAttention-2 激活重计算 (Activation Checkpointing)，实现显存与吞吐的最优平衡。

大模型训练集群硬件选型规划、DeepSpeed / Megatron-LM 配置文件编写、训练 OOM 快速排障。

盲目启动训练作业导致集群频繁发生 CUDA OOM 异常；精确的显存计算模型指导工程师在单卡、多卡、LoRA、ZeRO-2/3 之间做出 100% 精确的资源预算与选型。

现场推导全参数 AdamW 混合精度训练为什么静态显存占用正好为 $16\Phi$ 字节（逐项列出权重、梯度与优化器状态的字节数）？

详细画出 DeepSpeed ZeRO-1、ZeRO-2 与 ZeRO-3 在多 GPU 节点间的状态切分示意图与各阶段的通信量开销？

激活显存 (Activation Memory): 为什么长上下文（如 32k/128k）会导致激活显存呈二次方暴涨？激活重计算 (Activation Checkpointing) 如何以 20% 计算时间换取 70% 显存节省？

LoRA 微调显存计算：为什么 LoRA 微调 70B 模型仅需约 150GB 显存（只有 trainable adapter 参数才需要梯度与优化器状态）？

FlashAttention-2 是如何从硬件显存带宽与在线 Softmax 层面将自注意力激活显存从 $O(N^2)$ 降低至 $O(N)$ 的？