H8Medium★ 分布式系统必考 · 显存拆解Part H · 优化器与训练系统

ZeRO-1/2/3 显存切分与每卡模型状态定量计算

⚡闪卡盲测➔

定量拆解混合精度 Adam 训练下的参数(2B)、梯度(2B)与优化器状态(12B)在不同 ZeRO 阶段切分后的每卡显存开销。

⏱️ 时间复杂度: O(1) 显存分析模型
💾 空间复杂度: O(1)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def zero_memory_per_gpu_bytes(num_params: int, dp_world_size: int, stage: int) -> float:
"""
Compute steady-state model-state memory (bytes) per GPU under mixed-precision Adam.
Baseline (total = 16 bytes/param): FP16 params (2B) + FP16 grads (2B) + FP32 optimizer states
(master weights 4B + Adam m 4B + Adam v 4B = 12B).
"""
if dp_world_size < 1:
raise ValueError("dp_world_size must be >= 1")
params_b =
grads_b = 2.0 * num_params
opt_b = 12.0 * num_params
if stage == 0:
return params_b + grads_b + opt_b
if stage == 1:
return params_b + grads_b + (opt_b / dp_world_size)
if stage == 2:
return params_b + (grads_b + opt_b) / dp_world_size
if stage == 3:
return
raise ValueError(f"Unsupported ZeRO stage: {stage}")
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 同样跑 8 卡训练,ZeRO-3(FSDP)相比 ZeRO-2 多了多少通信量?什么时候应该选 ZeRO-2 而不是 ZeRO-3?
下一题: INT8 仿射与对称量化(Scale 与 Zero-Point) →
💡

实战一句话记忆口诀

权重二梯二优化十二,总计十六字节按阶切:一分状态二加梯,三分全量多聚参数

📐 核心数学公式与机理推导

MemZeRO−1=2Ψ+2Ψ+12ΨN,MemZeRO−3=16ΨN\mathrm{Mem}_{\mathrm{ZeRO}-1} = 2\Psi + 2\Psi + \frac{12\Psi}{N}, \quad \mathrm{Mem}_{\mathrm{ZeRO}-3} = \frac{16\Psi}{N}
### 16 Bytes / 参数的显存账本与三级切分
在常规 FP16/BF16 + Adam 混合精度训练中,每 1 个模型参数 Ψ\Psi 需要保留的模型状态(Model States)共 $16\Psi$ 字节:
- FP16 权重:2Ψ2\Psi;
- FP16 梯度:2Ψ2\Psi;
- FP32 优化器状态(Master Weight 4Ψ4\Psi + 一阶矩 mm 4Ψ4\Psi + 二阶矩 vv 4Ψ4\Psi):12Ψ12\Psi。

在 NN 张卡的数据并行中:
- ZeRO-1:只切分优化器状态 12Ψ/N12\Psi / N(通信量与原生 DDP 完全一致,仍为 2Ψ2\Psi);
- ZeRO-2:再把梯度切分,显存降至 2Ψ+14Ψ/N2\Psi + 14\Psi / N;
- ZeRO-3 (FSDP):权重、梯度、优化器全切,模型状态显存压到 16Ψ/N16\Psi / N,但前向与反向需按层额外执行 All-Gather 取回参数(总通信量升至约 3Ψ3\Psi)。

🔄 张量维度与形状流转说明

num_params, dp_world_size, stage -> 切分 opt(12B) / grad(2B) / param(2B) -> 每卡模型状态总字节数

🛡️ 数值稳定性自检与边界要点

  • 估算训练总显存时不要只算这 16B/param 模型状态,还必须额外预留 Activations(随 Batch Size、序列长与是否开 Checkpointing 变化)与通信临时缓冲区
  • 在工程实践中,ZeRO-1/2 几乎不增加通信延迟,是单机或多机首选;仅当模型状态本身装不下时才开启 ZeRO-3 / FSDP

💻 完整参考代码实现

def zero_memory_per_gpu_bytes(num_params: int, dp_world_size: int, stage: int) -> float:
    """
    Compute steady-state model-state memory (bytes) per GPU under mixed-precision Adam.
    Baseline (total = 16 bytes/param): FP16 params (2B) + FP16 grads (2B) + FP32 optimizer states
    (master weights 4B + Adam m 4B + Adam v 4B = 12B).
    """
    if dp_world_size < 1:
        raise ValueError("dp_world_size must be >= 1")
    params_b = 2.0 * num_params
    grads_b = 2.0 * num_params
    opt_b = 12.0 * num_params
    if stage == 0:
        return params_b + grads_b + opt_b
    if stage == 1:
        return params_b + grads_b + (opt_b / dp_world_size)
    if stage == 2:
        return params_b + (grads_b + opt_b) / dp_world_size
    if stage == 3:
        return (params_b + grads_b + opt_b) / dp_world_size
    raise ValueError(f"Unsupported ZeRO stage: {stage}")

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

psi = 7_000_000_000  # 7B model
N = 8
m0 = zero_memory_per_gpu_bytes(psi, N, 0)
m1 = zero_memory_per_gpu_bytes(psi, N, 1)
m2 = zero_memory_per_gpu_bytes(psi, N, 2)
m3 = zero_memory_per_gpu_bytes(psi, N, 3)
assert m0 > m1 > m2 > m3, "Memory per rank must decrease monotonically with ZeRO stage"
assert abs(m0 - 16.0 * psi) < 1e-6 and abs(m3 - 2.0 * psi) < 1e-6
print("✓ ZeRO-1/2/3 memory footprint assertion passed")

🎯 核心工程追问与标准应答

Q1:同样跑 8 卡训练,ZeRO-3(FSDP)相比 ZeRO-2 多了多少通信量?什么时候应该选 ZeRO-2 而不是 ZeRO-3?
原生 DDP/ZeRO-1/ZeRO-2 每步对梯度只做约 2Ψ2\Psi 通信量;ZeRO-3 因为每次前向和反向都要重新 All-Gather 收集本层权重分片,总通信量增加 50% 达到约 3Ψ3\Psi。因此当模型状态加激活能放进 ZeRO-2(例如 7B–13B 在 8×80GB GPU 上)时,优先用 ZeRO-2 换更高吞吐。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Megatron 张量并行(Column/Row Parallel Linear)返回 Part H 与全部 105 题下一题: INT8 仿射与对称量化(Scale 与 Zero-Point) →