Gradient Vanishing & Explosion: 如何检测与定位梯度异常？

Core Concept: 逐层记录梯度范数、更新范数与参数范数；查单调衰减（消失）、尖峰（爆炸）、层间失衡与 dead 单元。

数学机理：梯度异常分四类，各有可测信号。<strong>(1) 消失</strong>——逐层梯度范数从深层到浅层<strong>单调衰减</strong>数个量级（如 1e-1 → 1e-6）；诊断方法是 hook 每层 backward、记录 ‖∇_θl‖，画'层 index vs log 范数'图。<strong>(2) 爆炸</strong>——grad_norm 出现尖峰（比中位数高 1~2 个量级），且<strong>通常先于 loss 突增 1~2 步</strong>（因为参数要先被大梯度推走，loss 才升高）；这使 grad_norm 成为<strong>预警指标</strong>。<strong>(3) 层间失衡</strong>——某些层梯度范数远大于/小于其他层（如 embedding 层因稀疏更新而梯度小、输出层因 logit 尺度大而梯度大）；诊断用'每层梯度范数 / 参数范数'的比值。<strong>(4) dead 单元</strong>——某层激活恒为 0 或某神经元输出方差为 0，导致其梯度恒 0；诊断用激活统计。<strong>核心诊断量</strong>是 <strong>update ratio</strong>：‖Δθ‖/‖θ‖（每步参数相对移动量），健康训练中约 1e-3；若持续增大说明 lr 过大或梯度爆炸，若持续减小说明 lr 过小或梯度消失。

深度剖析与工程权衡：① <strong>工具化</strong>——PyTorch 用 register_full_backward_hook 或 torch.utils.hooks 记录每层梯度；也可用 wandb/tensorboard 记录 grad_norm 与 per-layer norm；工业训练框架（Megatron/DeepSpeed）内置这些指标。② <strong>稀疏层的特殊性</strong>——embedding 层的梯度只对'出现的 token'非零，其范数天然小于稠密层；不应误判为消失。对策是分别记录'稠密参数组'与'稀疏参数组'的范数。③ <strong>尖峰的处理</strong>——偶发尖峰靠梯度裁剪吸收；若频繁出现，需 (a) 降 lr、(b) 加长 warmup、(c) 检查数据（脏样本/异常长序列）、(d) 增大 ε、(e) 用 BF16 替代 FP16。④ <strong>与 loss spike 的因果</strong>——现代 LLM 训练中'loss spike'常由特定数据批次或注意力数值问题引起；grad_norm 尖峰是先行指标，可用于<strong>回溯定位到具体 step/batch</strong>。⑤ <strong>参数的尺度诊断</strong>——同时记录参数范数：若参数范数持续增长（无界），说明衰减不足或 lr 过大；若急剧缩小，说明衰减过强。⑥ <strong>面试要点</strong>——回答应给出<strong>具体可测的量</strong>（grad_norm、per-layer norm、update ratio、激活零值率），并说明各自的健康区间与异常含义；这是'会调试'与'只会训练'的分水岭。