Transformer Architecture Anatomy: 解释 Transformer 训练中的稳定性技巧（QK-Norm、logit softcap、z-loss）。

Core Concept: QK-Norm 归一化 Q/K 防熵崩塌；logit softcap 限制 logit 幅度；z-loss 惩罚 log-sum-exp 偏离 0，稳定 softmax。

数学机理：<strong>(1) QK-Norm</strong>——在计算 QKᵀ 之前对 Q、K 施加 RMSNorm，使它们的尺度稳定（不随训练漂移），从而注意力 logits 的方差稳定。这解决了两个问题：(a) <strong>注意力熵崩塌（entropy collapse）</strong>——训练中 Q/K 的范数可能增长，使 logits 变大、softmax 趋于 one-hot、注意力'坍塌'到少数位置（丢失长程信息、损害长上下文能力）；(b) <strong>数值不稳定</strong>——大 logits 导致 exp 溢出。QK-Norm 用显式归一化替代'√d_k 缩放 + 假设方差为 1'，更鲁棒（ViT-22B、Gemma-2 等采用）。<strong>(2) logit softcap</strong>——把输出 logits 通过 z←c·tanh(z/c) 压缩到 [−c, c]，防止个别 logit 幅度过大导致 softmax 饱和；Gemma-2 用 c=30。<strong>(3) z-loss</strong>——在 softmax 上加正则 L_z=λ(log Σ_j e^{z_j})²，惩罚 log-sum-exp（即 logits 的'整体水平'）偏离 0。<strong>为什么能抑制 loss spike</strong>——softmax 的数值稳定性依赖于 log-sum-exp 不爆炸；若 logits 整体幅度增长，log-sum-exp 变大，反向传播中的梯度尺度也变大，容易引发 spike 与 NaN。z-loss 通过把 log-sum-exp 拉回 0 附近，直接稳定了 softmax 的数值行为；PaLM、ViT-22B 等都使用了 z-loss。

深度剖析与工程权衡：① <strong>三者的分工</strong>——QK-Norm 稳定<strong>注意力 logits</strong>（防熵崩塌）；logit softcap 限制<strong>输出 logits 幅度</strong>（防饱和）；z-loss 约束<strong>log-sum-exp 水平</strong>（防梯度爆炸）。三者作用在不同位置，可叠加使用。② <strong>熵崩塌的实证</strong>——研究表明大模型的注意力熵在训练中会持续下降，若不加干预则长上下文能力退化；QK-Norm 是主要的对策之一（另有'注意力温度'调节、'熵正则'）。③ <strong>z-loss 的原始动机</strong>——它最早出现在 Google 的 MoE 与 PaLM 工作中，用于解决'大规模训练中的 loss spike'；本质是'给 softmax 的归一化项加一个软约束'。④ <strong>与 μP 的关系</strong>——这些技巧都可视为'让数值尺度与规模解耦'的工程手段，与 μP 的尺度一致性目标一致。⑤ <strong>实现代价</strong>——QK-Norm 增加少量计算（对 Q/K 做归约）；softcap 与 z-loss 开销极小；故在大规模训练中'性价比很高'。⑥ <strong>面试要点</strong>——被问'大模型训练如何保持稳定'，应给出'<strong>BF16 + 梯度裁剪 + warmup + QK-Norm + z-loss + 稳定算子</strong>'的组合清单，并解释每个的作用位置；能区分'防熵崩塌'与'防 softmax 溢出'两个不同目标，是深度理解的标志。