Distributed Training Basics: 解释大规模训练中的通信瓶颈与优化手段。

Core Concept: 通信量（∝参数/激活）与带宽限制导致扩展效率下降；用通信重叠、bucket、拓扑感知、ZeRO/FSDP、量化通信优化。

数学机理：分布式训练每步时间 ≈ T_compute + T_comm（未重叠时），扩展效率 = T_compute/(T_compute+T_comm)。<strong>T_comm 的构成</strong>：数据量 S（DP 为参数量、TP 为激活量）× 通信轮数 × 1/带宽。<strong>瓶颈来源</strong>：(1) <strong>模型变大</strong>——DP 的 all-reduce 通信量 ∝参数量，模型越大通信越多，而计算量（∝参数量×batch）也增大，但<strong>通信/计算比</strong>在 batch 小时更差（计算少、通信不变）；(2) <strong>设备变多</strong>——ring all-reduce 的通信量与 N 无关，但<strong>延迟</strong>随 N 增大（步数 O(N)），且跨节点带宽远低于节点内（NVLink ~900GB/s vs IB ~400Gb/s=50GB/s）；(3) <strong>TP 的每层通信</strong>——TP 每层两次 all-reduce，通信量与层数成正比、延迟敏感。<strong>优化手段</strong>：(a) <strong>通信-计算重叠</strong>——梯度一算完就发（DP）、预取下一层参数（ZeRO-3）、PP 的 1F1B 调度；(b) <strong>bucket 化</strong>——小张量打包减少启动开销；(c) <strong>拓扑感知</strong>——节点内用 NVLink、节点间用 IB，NCCL 自动选择；(d) <strong>通信量降低</strong>——用 ZeRO/FSDP 减少冗余（参数分片后 all-gather 的量小于 all-reduce）、梯度压缩（量化到 FP16/INT8、稀疏化）；(e) <strong>更大 batch</strong>——提高计算/通信比。

深度剖析与工程权衡：① <strong>通信压缩的误差补偿</strong>——把梯度量化到低精度会引入偏差，用 <strong>error feedback</strong>（把量化误差留到下一步补偿）可保证收敛；1-bit Adam/1-bit SGD 即此思路，在通信瓶颈场景（跨数据中心）有显著价值。② <strong>TP 的带宽硬约束</strong>——TP 必须在 NVLink 域内，故 TP 度通常不超过单节点 GPU 数（如 8）；跨节点扩展靠 PP 与 DP。③ <strong>PP 气泡与通信的权衡</strong>——PP 通信量小但气泡大；增大 micro-batch 数可减气泡但增激活显存（与检查点冲突）；这是多维权衡。④ <strong>与计算效率的耦合</strong>——通信优化不能只降通信量，还要考虑'是否可与计算重叠'；例如 DP 的 all-reduce 可与反向重叠（几乎免费），而 TP 的层间通信难完全隐藏。⑤ <strong>诊断指标</strong>——记录每步的 T_compute 与 T_comm、通信量（字节）、以及 'communication time fraction'；若通信占比 >30%，说明需优化。⑥ <strong>面试要点</strong>——被问'扩展效率为什么下降'，应从'<strong>通信/计算比 + 带宽层次（NVLink vs IB）+ 延迟（步数 O(N)）</strong>'三方面回答，并给出'重叠、bucket、分片、压缩、大 batch'五类手段；这是分布式训练的高阶问题，回答完整度直接体现经验。