Training Diagnostics & Debugging: 解释梯度/激活的统计诊断（激活分布、dead 单元、logit 分布）。

Core Concept: 记录每层激活的均值/方差/零值率、logit 的幅度与熵、梯度范数；异常分布直接指向问题层与成因。

数学机理：<strong>统计诊断</strong>的核心思想是'健康的训练在统计上是有特征的，偏离特征即指向问题'。<strong>(1) 激活分布</strong>——每层激活应大致均值 0、方差稳定（不随层数爆炸或衰减）。若方差逐层<strong>指数增长</strong>，说明初始化方差过大或缺少归一化（会导致梯度爆炸/数值不稳）；若逐层<strong>衰减到 0</strong>，说明初始化过小（导致梯度消失、浅层学不动）。<strong>(2) dead 单元比例</strong>——ReLU 层输出的零值率若 >90%，说明大量神经元死亡（见 dying ReLU）。<strong>(3) logit 分布</strong>——(a) <strong>初始化时</strong>，分类头的 logit 应接近均匀分布（熵≈log K），因为此时模型无信息；若初始熵很低，说明初始化或 logit 缩放有问题（如输出层权重初始化过大）。(b) <strong>训练中</strong>，logit 幅度若持续增大、softmax 熵趋 0，说明模型过度自信（可能导致校准差、梯度饱和）。(4) <strong>梯度范数</strong>——逐层记录，应同量级；单调衰减=消失、尖峰=爆炸。<strong>(5) 参数范数</strong>——若持续增长（无界）说明衰减不足，若急剧缩小说明衰减过强。这些统计量通过 forward/backward hook 采集，是现代训练监控的标配。

深度剖析与工程权衡：① <strong>诊断的因果链</strong>——'激活方差逐层增长'→'缺少归一化或初始化过大'→'加 LN 或改初始化'；'零值率高'→'dead ReLU'→'换激活或降 lr'。把统计异常映射到具体成因是诊断的核心能力。② <strong>与 μP 的联系</strong>——μP（最大更新参数化）的目标正是让'每层激活与更新的尺度与宽度无关'；诊断这些统计量可验证参数化是否正确（μP 下各层 update ratio 应一致）。③ <strong>初始 logit 熵的重要性</strong>——若初始 logit 幅度过大，softmax 立即饱和、梯度消失，训练极慢；这是'输出层初始化'常被忽视的坑（μP 建议输出层用 1/d 初始化）。④ <strong>激活监控的成本</strong>——采集所有层的激活统计会增加开销与显存；实践上只采样子集（如每 N 层、每 M 步）或只记录标量统计（均值/方差/零值率）而非完整张量。⑤ <strong>与工具链的结合</strong>——wandb/tensorboard 的 histogram 可看分布演化；'激活直方图'能发现双峰（如混合分布）或长尾（离群值）。⑥ <strong>面试要点</strong>——被问'如何监控训练健康'，应给出'<strong>逐层激活统计 + 梯度范数 + logit 分布 + 参数范数</strong>'的监控清单，并说明'健康区间的特征'与'异常对应的成因'；这是从'能训练'到'能调试'的跃迁。