M3-079M3: 深度学习基础分布式训练Easy
⚡闪卡盲测➔掌握度:

解释 ZeRO 的三个阶段

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-080 →
📐 核心数学机理公式
ZeRO-1: shard optimizer;ZeRO-2: +grad;ZeRO-3: +param\text{ZeRO-1}:\ \text{shard optimizer};\quad \text{ZeRO-2}:\ +\text{grad};\quad \text{ZeRO-3}:\ +\text{param}
⚡ 一句话直击要害答案
ZeRO 分片优化器状态(阶段 1)、梯度(阶段 2)、参数(阶段 3),显存逐级下降、通信逐级增加。

📌 核心要点提炼

  • •
    每设备显存:模型 16Ψ + 优化器 12Ψ(FP32)量级
  • •
    ZeRO-1 省 4 倍优化器状态;ZeRO-2 再加梯度;ZeRO-3 全分片
  • •
    ZeRO-3 需 all-gather 参数,通信量增加

📐 数学机理与严密推导

数学机理:以参数量 Ψ、混合精度(FP16 参数 + FP32 master + Adam 的 m/v)计,单卡显存约为:参数 2Ψ(FP16)+ master 4Ψ(FP32)+ m 4Ψ + v 4Ψ = 14Ψ 字节(另有激活与临时缓冲)。可见优化器状态(m+v+master)占 12Ψ、远大于参数的 2Ψ——这是显存的主要瓶颈。ZeRO 的分片思路(Rajbhandari 等 2020):ZeRO-1 把优化器状态按 DP 度 N 分片,每卡只存 1/N 的 m/v/master → 优化器显存降 N 倍(12Ψ→12Ψ/N);ZeRO-2 再把梯度分片(每卡只存 1/N 梯度)→ 梯度显存降 N 倍;ZeRO-3 再把参数分片(每卡只存 1/N 参数)→ 参数显存也降 N 倍,总显存降到约 14Ψ/N。代价:ZeRO-1 通信量与原 DP 相同(一次 reduce-scatter + all-gather 替代 all-reduce);ZeRO-2 略增;ZeRO-3 因每层前向需 all-gather 参数、反向后丢弃,通信量显著增加(约 1.5 倍)。因此 ZeRO-3 适合'显存极度紧张、带宽尚可'的场景,ZeRO-1/2 适合'显存够用、追吞吐'的场景。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 与 FSDP 的关系——PyTorch 的 FSDP(Fully Sharded Data Parallel)是 ZeRO-3 的等价实现(参数、梯度、优化器状态全分片),两者思想一致、API 不同;DeepSpeed 的 ZeRO-3 与 FSDP 可视为同一技术的两个工程实现。② 通信与计算的重叠——ZeRO-3 的 all-gather 可与计算重叠(预取下一层参数);DeepSpeed 与 FSDP 都实现了 prefetch 以隐藏通信延迟。③ offload 的组合——ZeRO-3 可把参数/优化器状态 offload 到 CPU(ZeRO-Offload/Infinity),进一步降低 GPU 显存但受 PCIe 带宽限制。④ 与 TP/PP 的组合——ZeRO 是'DP 维度的分片',与 TP(层内切)、PP(层间切)正交;大模型训练常用 'ZeRO-1 + TP + PP' 或 'FSDP + TP' 的组合。⑤ 显存账本的实用价值——面试中能算出'14Ψ 字节'并指出'优化器状态是大头',是理解 ZeRO 动机的关键;这比记住三个阶段名字更重要。⑥ 面试要点——被问'ZeRO 是什么',应从'显存账本 → 优化器状态占大头 → 逐级分片 → 通信代价递增'这条逻辑链回答;并主动区分 ZeRO-1/2/3 的适用场景。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    以为 ZeRO 免费(ZeRO-3 通信量显著增加)
  • ✕
    不知道优化器状态才是显存大头
🎯 面试官连环追问与延伸考察
  • ?
    为什么优化器状态占显存最多?
  • ?
    ZeRO 与 FSDP 的关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-078: 比较数据并行、张量并行、流水线并行📋 返回题库下一题 →M3-080: 解释 all-reduce、all-gather、reduce-scatter 的差异与用途