Distributed Training Basics: 解释梯度累积与数据并行的等价性，以及它们的差异。

Core Concept: 梯度累积在时间上累加多个 micro-batch 的梯度再更新，等价于大 batch；数据并行在空间上分卡再 all-reduce。

数学机理：<strong>梯度累积</strong>把一个大 batch 拆成 k 个 micro-batch，依次前向/反向、累加梯度，最后除以 k 再更新一次：g=(1/k)Σ_{i=1}^k ∇L(B_i)。<strong>数据并行</strong>把大 batch 拆到 N 张卡上，各卡算各自梯度后 all-reduce 取平均：g=(1/N)Σ_{j=1}^N ∇L(B_j)。<strong>数学上两者等价</strong>（都是对同一大 batch 的梯度求平均），前提是各 micro-batch/各卡的数据划分一致、且损失是样本平均（而非求和）。<strong>关键差异</strong>：(1) <strong>资源模式</strong>——累积是<strong>串行</strong>（时间换空间：不增显存但训练变慢 k 倍），DP 是<strong>并行</strong>（空间换时间：需 N 倍显存但吞吐 ×N）；(2) <strong>通信</strong>——累积无通信开销，DP 每步一次 all-reduce；(3) <strong>等价性破坏</strong>——若有<strong>跨样本的统计量</strong>（尤其 <strong>BatchNorm</strong> 用 batch 内统计），则拆成 micro-batch 会改变 BN 的统计量，破坏等价性！<strong>对策</strong>：用 SyncBN（跨卡同步统计）或在累积场景改用 LayerNorm/GroupNorm。此外，<strong>Adam 等优化器的状态</strong>在累积下每 k 个 micro-batch 更新一次，与 DP 的'每步更新'在数学上一致（因为梯度相同）。

深度剖析与工程权衡：① <strong>实际用途</strong>——梯度累积让'小显存也能训练大 batch'（如单卡 24GB 训练 batch 1024）；DP 让'多卡加速'。两者常<strong>同时使用</strong>：每卡内部做累积、卡间做 DP，实现'更大的有效 batch'。② <strong>与 lr 缩放的联动</strong>——有效 batch = micro_batch × accum_steps × N_gpu；按线性缩放规则，有效 batch 增大 k 倍应把 lr 也放大 k 倍（在临界 batch 内）。忘记这一点是最常见的'训练不收敛'原因之一。③ <strong>BN 的处理细节</strong>——在累积下，若用普通 BN，每个 micro-batch 的 BN 统计不同，导致 (a) 等价性破坏、(b) running stats 更新次数变多（每 micro-batch 都更新）；对策是只在最后一步更新 running stats，或直接用 LN。④ <strong>与 ZeRO/PP 的组合</strong>——PP 的 micro-batch 是'填充流水线'的，与梯度累积概念相近但不完全相同（PP 的 micro-batch 会真正更新梯度）；理解这一点避免混淆。⑤ <strong>数值细节</strong>——累积时应'除以累积步数'再更新（等价于平均）；若直接累加不除，等价于把 lr 放大 k 倍。⑥ <strong>面试要点</strong>——被问'显存不够怎么用大 batch'，答'梯度累积'；被追问'与 DP 有何不同'，答'数学等价但资源模式不同，且 BN 会破坏等价性'——这个 BN 细节是区分度所在。