Transformer Architecture Anatomy: 解释 Pre-LN、Post-LN 与 RMSNorm 在 Transformer 中的选择。

Core Concept: Post-LN 需 warmup、深层不稳；Pre-LN 残差路径纯净、稳定但方差累积需末端 LN；RMSNorm 省均值计算，LLaMA 采用。

数学机理：<strong>Post-LN（原论文）</strong> 把归一化放在残差相加<strong>之后</strong>：x_{l+1}=LN(x_l+F(x_l))。这使<strong>残差路径被 LN 修改</strong>——恒等项 I 被 LN 的 Jacobian 替换，梯度不再有'无损直通路径'，导致深层网络的梯度尺度随深度不稳（需 lr warmup 才能训练）。<strong>Pre-LN（现代默认）</strong> 把归一化放在子层<strong>之前</strong>：x_{l+1}=x_l+F(LN(x_l))。此时残差路径是<strong>纯净的恒等映射</strong>（x_l 直接传到 x_{l+1}），梯度有直通路径、训练稳定、<strong>不需要 warmup</strong>。<strong>代价</strong>——残差路径无归一化，故激活方差随深度<strong>累积增长</strong>（每层残差相加使方差线性增长）；因此 Pre-LN 模型必须在<strong>末端加一个 final LN</strong> 把方差拉回正常范围，否则输出尺度随深度爆炸（这也是'为什么 Pre-LN 模型最后总有一个 LN'）。<strong>RMSNorm</strong>——在 Pre-LN 基础上进一步简化：只按<strong>均方根</strong>缩放、不减均值、不含偏置 β：RMSNorm(x)=x/√(mean(x²)+ε)⊙γ。省去了均值计算（一次归约）与 β 参数，实测效果与 LayerNorm 相当（Zhang & Sennrich 2019），故被 LLaMA、PaLM 等采用。<strong>QK-Norm</strong> 则是对 Q/K 额外施加 RMSNorm，使注意力 logits 的尺度不随训练漂移，防止'注意力熵崩塌'。

深度剖析与工程权衡：① <strong>为什么 Pre-LN 成为默认</strong>——Xiong 等 (2020) 的理论分析表明：Post-LN 的梯度在初始化时随深度<strong>放大</strong>（导致需要小 lr + warmup），Pre-LN 的梯度尺度稳定；实践上 Pre-LN 允许更大的 lr、更短的 warmup、更深的网络，故全面胜出。② <strong>Post-LN 的复兴</strong>——DeepNorm（Wang 等 2022）通过'缩放残差 + 特定初始化'让 Post-LN 在超深（1000 层）模型上表现更好；说明'Post-LN 不是错的，只是需要正确的缩放'。③ <strong>RMSNorm 的收益量化</strong>——省去均值计算约减少 5%~10% 的归一化开销（归一化本身占比小，故总吞吐提升有限）；主要收益是与低精度/融合算子的兼容性更好。④ <strong>'末端 LN'的必要性</strong>——去掉 final LN 会导致输出 logits 尺度过大、softmax 饱和；这是实现 Pre-LN 时的常见 bug。⑤ <strong>归一化的层次</strong>——输入 embedding 后常有 LN、每个子层有 LN、末端有 LN、QK 有 QK-Norm；'归一化无处不在'是现代 Transformer 的特征，目的是让每一处的数值尺度可控（对低精度训练尤其关键）。⑥ <strong>面试要点</strong>——被问'Pre-LN 与 Post-LN 的区别'，应给出'<strong>残差路径是否被 LN 打断 → 是否需要 warmup</strong>'的因果，并主动说'Pre-LN 需末端 LN 抑制方差累积'与'RMSNorm 省均值'；能提到 DeepNorm 是加分。