M3-084M3: 深度学习基础分布式训练Hard
⚡闪卡盲测➔掌握度:

解释 3D 并行与序列并行(sequence parallelism)

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-085 →
📐 核心数学机理公式
total GPUs=DP×TP×PP;SP: split along sequence dim\text{total GPUs}=\text{DP}\times\text{TP}\times\text{PP};\qquad \text{SP}:\ \text{split along sequence dim}
⚡ 一句话直击要害答案
3D 并行 = 数据并行 × 张量并行 × 流水线并行;序列并行把 LayerNorm/dropout 等非 matmul 部分沿序列维切分。

📌 核心要点提炼

  • •
    3D 并行按'数据/权重/深度'三个维度同时切分
  • •
    SP 解决 TP 后激活仍沿序列维冗余的问题
  • •
    配置原则:节点内 TP+SP、节点间 PP、最外层 DP

📐 数学机理与严密推导

数学机理:3D 并行是三种并行维度的组合:DP(数据并行,扩吞吐、通信 ∝参数量)+ TP(张量并行,切层内权重、通信 ∝激活、需 NVLink)+ PP(流水线并行,切层、通信小但有气泡)。总 GPU 数 = DP×TP×PP。为什么需要 SP:TP 把权重矩阵切分后,matmul 的激活也被切分(如按列切分后每卡只有部分输出),但非 matmul 的部分(LayerNorm、dropout、残差相加)在 TP 中仍是每卡完整计算同一份激活——即这些算子的激活沿序列维冗余复制在 TP 组内。序列越长,这份冗余越大(激活 ∝ L×d)。序列并行(SP) 的做法是:把 LayerNorm/dropout 等沿序列维切分到 TP 组的各卡上,使每卡只处理 L/TP 个 token 的归一化;而在 matmul 前用 all-gather 把序列拼回来。关键优化:SP 的 all-gather 与 TP 的 all-reduce 可以合并为一次通信(Megatron 的 SP 实现即如此),使 SP 几乎不增加通信开销,却把激活显存降低 TP 倍。更进一步:SP 与 Flash Attention 结合(Megatron 的 SP 变体)可进一步降低注意力激活。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 激活显存的主导地位——长序列训练时激活显存 ∝ L×d×层数,常超过参数显存;SP 是降低激活的关键手段之一(与检查点、Flash Attention 并列)。② 配置原则的由来——节点内 NVLink 带宽高 → 放 TP+SP(通信密集);节点间 IB 带宽低 → 放 PP(通信少);最外层 DP(可与计算重叠)。这是'按通信需求匹配带宽层次'的经典设计。③ 与 ZeRO 的组合——大模型常用 'TP + SP + PP + ZeRO-1'(ZeRO-1 只分片优化器状态,通信代价小);或 'FSDP + TP + SP'。④ 长上下文的完整方案——SP(省激活)+ GQA/MQA(省 KV cache)+ Flash Attention(省注意力激活)+ RoPE 位置插值(支持更长)+ 上下文并行(context parallel,把序列维切到多卡)。⑤ 通信复杂度的现实——3D 并行的调试与调优复杂(需平衡各维度、避免某维成为瓶颈);工业上常用 Megatron-LM + DeepSpeed 的组合模板,而非从零实现。⑥ 面试要点——被问'训练 100B 模型怎么配并行',应给出'TP=8(节点内)+ SP + PP=若干(跨节点)+ DP(最外)+ ZeRO-1/FSDP'的具体方案并解释每维的通信特征;这是分布式训练的高阶问题。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为 TP 之后就无需 SP(非 matmul 部分仍有激活冗余)
  • ✕
    把 SP 与上下文并行(CP)混为一谈
🎯 面试官连环追问与延伸考察
  • ?
    为什么 TP 之后还需要 SP?
  • ?
    SP 与 TP 的通信如何合并?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-083: 解释 FSDP 与 ZeRO 的关系与差异📋 返回题库下一题 →M3-085: 训练 loss 不下降,你会按什么顺序排查?