Training Diagnostics & Debugging: 解释'可复现性'调试：随机种子、确定性算子、数据管道。

Core Concept: 固定所有随机源（种子、初始化、数据顺序、增强、dropout）+ 用确定性算子 + 固定环境，才能逐步复现。

数学机理：<strong>可复现性</strong>要求所有<strong>随机源</strong>与<strong>非确定性算子</strong>都被控制。<strong>(1) 随机源清单</strong>——(a) 参数初始化（torch 种子）、(b) 数据加载顺序与 shuffle（DataLoader 的 generator 种子 + worker 数）、(c) 数据增强（随机裁剪/翻转/颜色抖动）、(d) dropout 的 mask、(e) 权重初始化与任何 nn.init、(f) 优化器的随机性（一般无，但某些变体有）。<strong>(2) 非确定性算子</strong>——GPU 上某些算子（如 atomicAdd 实现的归约、cuDNN 的某些算法、scatter/gather）因并行归约顺序不同而产生<strong>浮点非确定性</strong>（即使数学上等价，浮点加法不满足结合律，不同顺序结果略有差异）。PyTorch 提供 <code>torch.use_deterministic_algorithms(True)</code> 强制使用确定性实现（代价是可能变慢，因为要避免某些高效但非确定的算法）。<strong>(3) 环境</strong>——CUDA/cuDNN/PyTorch 版本、GPU 型号、驱动版本都会影响数值（不同版本的 kernel 实现不同）。<strong>(4) 多卡/多进程</strong>——数据分片方式、通信顺序（all-reduce 的归约树结构）也会引入非确定性；需固定 rank 与分片策略。<strong>实践建议</strong>：'完全逐位复现'往往不可得（尤其多卡），通常追求'统计上复现'（loss 曲线形状一致、最终指标差异在容差内）。

深度剖析与工程权衡：① <strong>确定性模式的代价</strong>——某些高效算法（如 cuDNN 的 winograd 卷积、原子归约）是非确定的；强制确定性会回退到较慢的实现，吞吐可能下降 10%~30%。故常只在调试时开启，训练时关闭。② <strong>多卡不可复现的根源</strong>——(a) all-reduce 的实现（ring vs tree）与通信顺序、(b) 各 rank 的算子调度差异、(c) 数据分片的边界效应（如最后一个 batch 大小不同）。故多卡训练常接受'非逐位复现'。③ <strong>与实验管理的关系</strong>——可复现性是<strong>实验管理</strong>的基础；需记录完整的配置（超参、种子、环境版本、代码 commit）与随机源状态，才能'回到某个实验'。④ <strong>种子与性能的隐藏关系</strong>——不同种子会导致不同的最终性能（方差可达 1%~2%）；故对比方法时应<strong>多种子</strong>取平均，而非单次结果。⑤ <strong>数据管道的确定性</strong>——DataLoader 的 num_workers>0 时，需为每个 worker 设置不同的种子（否则增强模式重复）；PyTorch 的 worker_init_fn 用于此。⑥ <strong>面试要点</strong>——被问'如何保证可复现'，应给出'<strong>随机源 + 确定性算子 + 环境 + 数据分片</strong>'四层清单，并诚实说明'多卡逐位复现很难，通常追求统计复现'；同时提到'多种子评估'这一科研规范，体现严谨性。