梯度爆炸排查与 NaN 损失定位

梯度爆炸排查与 NaN 损失根因定位体系 (Gradient Clipping & NaN Loss Root-Cause Debugging) 是深度学习与大模型训练中诊断并修复训练发散与崩溃的核心工程方法论；当反向传播中梯度连乘值急剧膨胀时，会导致权重更新步长巨大（步入非凸超平面的险峻陡坡），引发激活值溢出并在下一个 Epoch 直接崩出 `Loss = NaN`；标准两级防御与诊断流水线：1) 梯度裁剪 (Gradient Clipping by Global Norm: 当全模型梯度 $L_2$ 范数 $|g|_2 > \text{max\_norm}$ 时，按比例缩小为 $g \leftarrow g \cdot \frac{\text{max\_norm}}{\|g\|_2}$，保留梯度原始几何方向)；2) 混合精度与下溢排查：FP16 动态损失缩放 (Dynamic Loss Scaling: 乘缩放因子 $S=2^{16}$ 将小梯度移入可表示区间，遇 Inf/NaN 则跳过该步并减小 $S$)；3) 异常算子定位：使用 `torch.autograd.set_detect_anomaly(True)` 与 Hook 捕获第一个输出 NaN 的层。

LLM 预训练 Loss 突增排查、深层 Transformer/RNN 训练防发散、混合精度 FP16/BF16 训练稳定性维护。

昂贵的千卡大模型预训练（每天算力成本数万美元）一旦遭遇无兆头 NaN 崩溃会导致数小时训练进度报废；梯度裁剪与动态损失缩放提供了 100% 稳定的连续训练护航保障。

推导全局范数梯度裁剪 (Gradient Clipping by Global Norm) 的数学公式，为什么按全局范数缩放比按逐参数裁剪 (Clip by Value) 优越？

动态损失缩放 (Dynamic Loss Scaling) 的状态机原理：连续 2000 步无溢出则 $S \leftarrow 2S$，一旦检测到 Inf/NaN 则跳过梯度更新并 $S \leftarrow S/2$？

BF16 (Bfloat16) 相比 FP16 为什么从硬件根源上彻底消除了动态损失缩放 (Loss Scaler) 的需求？

常见产生 `NaN` 的五大底层数学陷阱（对 0 取对数 $\ln(0)$、除以 0、负数开方、Softmax 未平移大数上溢、LayerNorm 方差下溢 $\frac{1}{\sqrt{\sigma^2 + \epsilon}}$）的排查？

在大规模分布式集群中，如何利用 TensorBoard / WandB 实时监控梯度范数 (Grad Norm) 与权重范数 (Weight Norm) 的比值（学习率健康度指标）？