DDP 与 Ring-AllReduce

DDP(分布式数据并行)中 N 张卡各持有本分片数据的梯度 $g_i$,训练必须把各卡梯度求和(或平均)得到全局梯度——这正是 All-Reduce 操作。设单卡梯度总大小为 $S$ 字节。朴素实现(每卡把全量梯度 $S$ 发给其余 N−1 卡)每卡通信量 $O(NS)$,随卡数线性放大、不可扩展;Ring-AllReduce 通过环形拓扑把每卡通信量降到约 $2S$、与 N 无关,是带宽最优方案。把梯度切成 N 个 chunk(每块大小 $S/N$),两阶段各 N−1 步: ① Scatter-Reduce: 第 k 步,$\text{rank}\,i$ 把本地 chunk $(i-k) \bmod N$ 发给下一跳 $\text{rank}\,(i+1) \bmod N$,同时从 $\text{rank}\,(i-1) \bmod N$ 收到 chunk $(i-k-1) \bmod N$ 并原地累加;N−1 步后每个 rank 恰好完整拥有某一个 chunk 的全局和(不同 chunk 的和分布在不同 rank 上)。② All-Gather: 拥有全局和的 rank 沿环把该 chunk 转发,再 N−1 步后所有 rank 都持有全部 chunk 的全局和。通信量推导: 每步每卡发送 $S/N$ 字节,两阶段共 $2(N-1)$ 步,每卡总发送量 $V = 2(N-1)\cdot\frac{S}{N} = 2\frac{N-1}{N}S$,当 $N \to \infty$ 时 $V \to 2S$——因为每步传输量 $S/N$ 随 N 缩小、而步数 $N-1$ 随 N 增长,两者乘积收敛到常数,所以每卡通信量(带宽)与 N 无关(全量梯度只被传 $O(S)$ 而非 $O(NS)$)。但延迟项是 $2(N-1)$ 次串行 hop,仍随 N 线性增长: 小消息、慢网络下 Ring 不是最优,因此 NCCL 在跨节点/小数据时用 tree 算法、在节点内用 NVLink 分层 reduce。梯度重叠: 反向传播按层从后往前计算梯度,DDP 把参数按 bucket(默认约 25MB)分桶,每个 bucket 的梯度一旦就绪立即异步发起该桶的 All-Reduce,与后续层的反向计算并行(compute 与 communication 重叠),通信延迟几乎被完全隐藏;全局梯度裁剪在全部 All-Reduce 完成之后、优化器 step 之前进行。

大模型多卡训练的基础设施常识(DL 与 AI_Infra 模块的衔接节点);面试高频追问“推导 Ring-AllReduce 的通信量”“为什么通信量与 N 无关”“梯度如何与反向传播重叠”。

数据并行的梯度同步是最大的通信瓶颈——GPU 越多,同步开销越可能抵消计算加速。Ring-AllReduce 让每卡带宽占用恒定约 $2S$,通信时间不随卡数线性增长(带宽受限的理想情形),配合梯度分桶与异步重叠把通信延迟藏进计算里,单机多卡与跨节点训练可获得近线性扩展。

检验攻克程度：针对「DDP 与 Ring-AllReduce」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。