集合通信与 NVLink 拓扑

多卡训练的一切同步都可归结为集合通信原语。设每卡持有数据分片 $S$ 字节、共 N 卡: ① AllGather(各卡把自己的分片广播给其余 N−1 卡, 最终每卡持有全部 $NS$ 字节): 每卡需要接收 N−1 个分片, 通信量 $(N-1)S$——每卡数据被其余 N−1 卡各读一遍; ② ReduceScatter(各卡数据归约后只保留自己那份结果): 每卡 $\frac{N-1}{N}S$; ③ AllReduce(归约后分发给所有卡)= ReduceScatter + AllGather 两步: 环形实现下每卡 $2\frac{N-1}{N}S \to 2S$(N 很大时每卡只传自己数据的两倍, 带宽与 N 无关); ④ AllToAll(每卡把数据发给其余所有卡、也接收来自所有卡)——MoE 专家并行的 token 路由就是 AllToAll: 均匀负载时每卡 $\frac{N-1}{N}S$。硬件带宽对比: NVLink 4.0(H100)每卡 900GB/s, NVLink 5.0(B200/GB200)每卡 1.8TB/s; InfiniBand 800Gbps(XDR)= 100GB/s, 400Gbps(NDR)= 50GB/s——NVLink 5.0 是单条 IB 800Gbps 的约 18 倍。轨优化(rail-optimized)拓扑: 每个节点的第 i 张 GPU 的网卡接入同一台叶交换机(第 i 条“轨”), 跨节点通信固定发生在同号 GPU 之间, 避免 AllReduce/AllGather 流量在多条轨之间横跳造成热点与拥塞; 配合节点内 NVSwitch 全互连与节点间叶脊/3D-Torus, 构成 NCCL 的顶层拓扑设计。

训练 Infra 面试的核心模块(是 distributed-parallel 的前置): “推导 Ring-AllReduce 通信量”“AllGather 和 AllReduce 差多少”“MoE 为什么用 AllToAll”“NVLink 和 IB 差几个数量级”“什么是轨优化”。

让 N 卡同步的开销从朴素的 $O(NS)$(每卡把全量数据发给其余 N−1 卡)降到 $O(S)$ 量级——带宽不随卡数增长, 并行规模才能扩展到数百上千卡; 同时用 NVLink 的高带宽承载 TP 这类高频小消息通信、用 IB 承载跨节点梯度同步, 并靠拓扑设计让两种流量都不打结。

手算 AllGather 通信量: 每卡分片 $S$、N 卡, 每卡最终持有 $NS$, 需新接收 $(N-1)S$ 字节——推导它为什么随 N 线性增长而 Ring-AllReduce 不随 N 增长。

把 AllReduce 拆成 ReduceScatter + AllGather 两阶段: 各阶段数据量($\frac{N-1}{N}S$ 与 $(N-1)S$)与步数(N−1)各是多少, 相加验证总量 $2\frac{N-1}{N}S$。

MoE 专家并行为什么是 AllToAll 而不是 AllGather: token 按专家 ID 路由、每卡发给所有卡也接收所有卡; 均匀负载下通信量 $\frac{N-1}{N}S$ 与 AllReduce 的对比。

背 NVLink/IB 数字: NVLink 4.0 = 900GB/s、NVLink 5.0 = 1.8TB/s、IB 800Gbps = 100GB/s、400Gbps = 50GB/s; 算 NVLink 5.0 是 IB 800Gbps 的多少倍(≈18×), 并说明为什么 TP 必须走 NVLink 而 DP 可以走 IB。

描述轨优化(rail-optimized)拓扑: 每节点第 i 张 GPU 接同一台叶交换机构成“轨”; 它解决了什么问题(同号卡之间通信、避免跨轨横跳热点), 与 NVSwitch、叶脊拓扑的关系。