H8Medium★ 分布式系统必考 · 显存拆解Part H · 优化器与训练系统
ZeRO-1/2/3 显存切分与每卡模型状态定量计算
定量拆解混合精度 Adam 训练下的参数(2B)、梯度(2B)与优化器状态(12B)在不同 ZeRO 阶段切分后的每卡显存开销。
⏱️ 时间复杂度:
O(1) 显存分析模型💾 空间复杂度:
O(1)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
def zero_memory_per_gpu_bytes(num_params: int, dp_world_size: int, stage: int) -> float:
"""
Compute steady-state model-state memory (bytes) per GPU under mixed-precision Adam.
Baseline (total = 16 bytes/param): FP16 params (2B) + FP16 grads (2B) + FP32 optimizer states
(master weights 4B + Adam m 4B + Adam v 4B = 12B).
"""
if dp_world_size < 1:
raise ValueError("dp_world_size must be >= 1")
params_b =
grads_b = 2.0 * num_params
opt_b = 12.0 * num_params
if stage == 0:
return params_b + grads_b + opt_b
if stage == 1:
return params_b + grads_b + (opt_b / dp_world_size)
if stage == 2:
return params_b + (grads_b + opt_b) / dp_world_size
if stage == 3:
return
raise ValueError(f"Unsupported ZeRO stage: {stage}")
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 同样跑 8 卡训练,ZeRO-3(FSDP)相比 ZeRO-2 多了多少通信量?什么时候应该选 ZeRO-2 而不是 ZeRO-3?
💡
实战一句话记忆口诀
权重二梯二优化十二,总计十六字节按阶切:一分状态二加梯,三分全量多聚参数
📐 核心数学公式与机理推导
### 16 Bytes / 参数的显存账本与三级切分
在常规 FP16/BF16 + Adam 混合精度训练中,每 1 个模型参数 需要保留的模型状态(Model States)共 $16\Psi$ 字节:
- FP16 权重:;
- FP16 梯度:;
- FP32 优化器状态(Master Weight + 一阶矩 + 二阶矩 ):。
在 张卡的数据并行中:
- ZeRO-1:只切分优化器状态 (通信量与原生 DDP 完全一致,仍为 );
- ZeRO-2:再把梯度切分,显存降至 ;
- ZeRO-3 (FSDP):权重、梯度、优化器全切,模型状态显存压到 ,但前向与反向需按层额外执行 All-Gather 取回参数(总通信量升至约 )。
在常规 FP16/BF16 + Adam 混合精度训练中,每 1 个模型参数 需要保留的模型状态(Model States)共 $16\Psi$ 字节:
- FP16 权重:;
- FP16 梯度:;
- FP32 优化器状态(Master Weight + 一阶矩 + 二阶矩 ):。
在 张卡的数据并行中:
- ZeRO-1:只切分优化器状态 (通信量与原生 DDP 完全一致,仍为 );
- ZeRO-2:再把梯度切分,显存降至 ;
- ZeRO-3 (FSDP):权重、梯度、优化器全切,模型状态显存压到 ,但前向与反向需按层额外执行 All-Gather 取回参数(总通信量升至约 )。
🔄 张量维度与形状流转说明
num_params, dp_world_size, stage -> 切分 opt(12B) / grad(2B) / param(2B) -> 每卡模型状态总字节数
🛡️ 数值稳定性自检与边界要点
- 估算训练总显存时不要只算这 16B/param 模型状态,还必须额外预留 Activations(随 Batch Size、序列长与是否开 Checkpointing 变化)与通信临时缓冲区
- 在工程实践中,ZeRO-1/2 几乎不增加通信延迟,是单机或多机首选;仅当模型状态本身装不下时才开启 ZeRO-3 / FSDP
💻 完整参考代码实现
def zero_memory_per_gpu_bytes(num_params: int, dp_world_size: int, stage: int) -> float:
"""
Compute steady-state model-state memory (bytes) per GPU under mixed-precision Adam.
Baseline (total = 16 bytes/param): FP16 params (2B) + FP16 grads (2B) + FP32 optimizer states
(master weights 4B + Adam m 4B + Adam v 4B = 12B).
"""
if dp_world_size < 1:
raise ValueError("dp_world_size must be >= 1")
params_b = 2.0 * num_params
grads_b = 2.0 * num_params
opt_b = 12.0 * num_params
if stage == 0:
return params_b + grads_b + opt_b
if stage == 1:
return params_b + grads_b + (opt_b / dp_world_size)
if stage == 2:
return params_b + (grads_b + opt_b) / dp_world_size
if stage == 3:
return (params_b + grads_b + opt_b) / dp_world_size
raise ValueError(f"Unsupported ZeRO stage: {stage}")
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
psi = 7_000_000_000 # 7B model
N = 8
m0 = zero_memory_per_gpu_bytes(psi, N, 0)
m1 = zero_memory_per_gpu_bytes(psi, N, 1)
m2 = zero_memory_per_gpu_bytes(psi, N, 2)
m3 = zero_memory_per_gpu_bytes(psi, N, 3)
assert m0 > m1 > m2 > m3, "Memory per rank must decrease monotonically with ZeRO stage"
assert abs(m0 - 16.0 * psi) < 1e-6 and abs(m3 - 2.0 * psi) < 1e-6
print("✓ ZeRO-1/2/3 memory footprint assertion passed")🎯 核心工程追问与标准应答
Q1:同样跑 8 卡训练,ZeRO-3(FSDP)相比 ZeRO-2 多了多少通信量?什么时候应该选 ZeRO-2 而不是 ZeRO-3?
原生 DDP/ZeRO-1/ZeRO-2 每步对梯度只做约 通信量;ZeRO-3 因为每次前向和反向都要重新
All-Gather 收集本层权重分片,总通信量增加 50% 达到约 。因此当模型状态加激活能放进 ZeRO-2(例如 7B–13B 在 8×80GB GPU 上)时,优先用 ZeRO-2 换更高吞吐。⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!