Distributed Training Basics: 解释 all-reduce、all-gather、reduce-scatter 的差异与用途。

Core Concept: all-reduce 全局归约后所有设备得结果；all-gather 汇集各设备数据；reduce-scatter 归约后分片分发。

数学机理：三者是分布式训练的基础集合通信原语。<strong>all-reduce</strong>：对所有设备的张量做逐元素归约（通常求和或平均），结果<strong>广播给所有设备</strong>（每设备得到完整的归约结果）；典型用途是 DP 的梯度同步（各卡梯度求平均）。<strong>all-gather</strong>：把各设备持有的<strong>不同分片</strong>拼接成完整张量，每设备都得到完整结果（无归约）；典型用途是 ZeRO-3 中'把分片参数收集成完整层'、TP 中收集中间激活。<strong>reduce-scatter</strong>：先做归约、再把结果<strong>按分片分发</strong>（每设备只保留 1/N）；典型用途是 ZeRO 中把梯度归约后各卡只留自己负责的那片。<strong>关键恒等式</strong>：<strong>all-reduce = reduce-scatter + all-gather</strong>——先把各卡数据归约并分片（reduce-scatter），再把这些分片广播拼回（all-gather）；这个分解是 ZeRO 能'用两次通信替代一次 all-reduce 但顺带完成分片'的基础。<strong>Ring 算法</strong>：在环形拓扑上，all-reduce 分两个阶段（reduce-scatter 阶段 N−1 步、all-gather 阶段 N−1 步），总通信量约 <strong>2(N−1)/N · S ≈ 2S</strong>（S 为数据量），与设备数 N 几乎无关（这是 ring 的优雅之处）；而朴素做法是 N 次点对点、通信量 O(N·S)。<strong>Tree 算法</strong>则在延迟上更优（O(log N) 步），适合小张量。

深度剖析与工程权衡：① <strong>带宽 vs 延迟的取舍</strong>——ring 的通信量与 N 无关但步数为 O(N)（延迟高）；tree 步数 O(log N)（延迟低）但带宽利用率较低。NCCL 会根据张量大小与拓扑自动选择算法（小张量用 tree、大张量用 ring）。② <strong>通信与计算的重叠</strong>——DP 的梯度 all-reduce 可与反向计算重叠（梯度一算完就发）；ZeRO-3 的 all-gather 可预取；这是'隐藏通信'的关键，决定扩展效率。③ <strong>bucket 化</strong>——把多个小张量打包成大 bucket 再通信，可提高带宽利用率（减少启动开销）；PyTorch DDP 默认做 bucket。④ <strong>reduce-scatter + all-gather 的实际优势</strong>——ZeRO 用这个分解'顺便'完成了参数分片，使通信量与 all-reduce 相当但显存降 N 倍；这是'一次通信做两件事'的典型优化。⑤ <strong>拓扑感知</strong>——NCCL 会优先用 NVLink（节点内）而非 PCIe/IB（节点间）；跨节点通信需考虑 IB 带宽与 rail-optimized 拓扑。⑥ <strong>面试要点</strong>——被问'梯度同步怎么做'，应提到'all-reduce（或 reduce-scatter+all-gather）'并说明通信量 ∝参数量；若追问 ZeRO，能指出'all-reduce 可分解'这一恒等式是分片优化的基础，是深度理解的标志。