M3-078M3: 深度学习基础分布式训练Easy
⚡闪卡盲测➔掌握度:

比较数据并行、张量并行、流水线并行

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-079 →
📐 核心数学机理公式
DP: replicate θ, split D;TP: split W;PP: split layers\text{DP}:\ \text{replicate}\ \theta,\ \text{split}\ \mathcal{D};\quad \text{TP}:\ \text{split}\ W;\quad \text{PP}:\ \text{split layers}
⚡ 一句话直击要害答案
数据并行复制模型、切分数据;张量并行切分单层权重;流水线并行切分层(按 stage);三者常组合为 3D 并行。

📌 核心要点提炼

  • •
    DP 通信量 ∝ 参数量(all-reduce 梯度)
  • •
    TP 通信量 ∝ 激活(每层 all-reduce),需高带宽(NVLink)
  • •
    PP 通信量小(仅 stage 边界)但有流水线气泡

📐 数学机理与严密推导

数学机理:数据并行(DP)——每个设备持有完整模型副本、处理不同数据分片,反向结束后用 all-reduce 同步梯度(取平均)。优点是实现简单、通信与参数量成正比(一次 all-reduce);缺点是每设备需存完整模型 + 优化器状态,模型大到单卡放不下时失效。张量并行(TP)——把单层的权重矩阵切分到多设备(如按列切 W₁、按行切 W₂),每层前向/反向需 all-reduce 或 all-gather 中间激活。优点是可切分任意大的层、显存按 TP 度线性下降;缺点是每层都要通信、通信量 ∝ 激活大小、延迟敏感,故必须在同一节点内用 NVLink/高速互联(跨节点带宽不足会严重拖慢)。流水线并行(PP)——按层切分成若干 stage,每设备持有连续几层,micro-batch 依次流过各 stage(类似工厂流水线)。优点是通信量小(仅 stage 边界传激活)、可跨节点;缺点是流水线气泡——首尾 stage 在填充/排空阶段空闲,设备利用率下降(气泡比例约 (P−1)/(M+P−1),P 为 stage 数、M 为 micro-batch 数)。3D 并行即 DP×TP×PP 组合(如 Megatron-LM 的配置)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 三者的正交性——它们切分的是不同维度:DP 切数据、TP 切权重、PP 切深度;理论上可任意组合(受互联拓扑约束)。实践配置原则是'节点内 TP、节点间 PP、最外层 DP',因为 TP 需高带宽、PP 带宽需求低、DP 通信可与计算重叠。② 通信量对比——DP 每步一次 all-reduce(∝参数量);TP 每层两次通信(∝激活);PP 每 micro-batch 传一次边界激活。故 TP 对带宽最敏感。③ 流水线气泡的缓解——(a) 增大 micro-batch 数 M(气泡 ∝1/M)、(b) 用 interleaved/1F1B 调度(交错前后向)、(c) 用 zero-bubble pipeline 等新调度;但 M 增大会增加激活显存(与检查点冲突)。④ ZeRO/FSDP 的位置——ZeRO 是'数据并行的显存优化'(分片优化器状态/梯度/参数),可视为 DP 的改进版;它不与 TP/PP 冲突,常叠加使用(如 ZeRO-3 + TP + PP)。⑤ 序列并行(SP)——在 TP 基础上把 LayerNorm/dropout 等'非矩阵乘'部分沿序列维度切分,进一步降低激活显存;是长序列训练的常用补充。⑥ 面试要点——被问'如何训练一个放不下的模型',应给出'先 ZeRO/FSDP(省显存)→ 再 TP(切层内)→ 再 PP(切层间)→ 配合 DP(扩吞吐)'的决策顺序,并说明'TP 需 NVLink'这一硬约束。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 TP 可以随意跨节点(带宽不足会严重拖慢)
  • ✕
    忽略流水线气泡对利用率的影响
🎯 面试官连环追问与延伸考察
  • ?
    为什么 TP 要求高带宽而 PP 不要求?
  • ?
    什么是流水线气泡?如何缓解?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-077: 解释为何混合精度下 LayerNorm / softmax 要保持 FP32📋 返回题库下一题 →M3-079: 解释 ZeRO 的三个阶段