Normalization Techniques: 解释 DeepNorm 与它如何支持超深 Transformer。

Core Concept: Post-LN 的改进：放大残差（αx+F(x)）并按深度缩放初始化；支持 1000 层。

问题背景：<strong>Post-LN</strong> 在深层网络中不稳定（梯度随深度指数衰减，需 warmup 与精细初始化），通常难以训练超过 12–24 层；而 <strong>Pre-LN</strong> 虽稳定但表达力略弱（归一化在子层前，残差路径未归一化）。<strong>DeepNorm（Wang et al. 2022）</strong> 的目标是<strong>保留 Post-LN 的表达力同时获得稳定性</strong>。做法包含两部分：① <strong>残差缩放</strong>——把 Post-LN 的 x+F(x) 改为 <strong>α·x+F(x)</strong>（放大恒等路径），其中 α=(3L)^{1/4}（L 为层数）；这增强了恒等路径的权重，使梯度更易传播（类似残差缩放的'反向'思路——放大恒等而非缩小分支）。② <strong>初始化缩放</strong>——对残差分支的权重按 β=(3L)^{−1/4} 缩放（与 α 配合），使各层输出的方差保持稳定。<strong>理论依据</strong>：通过 α、β 的深度相关设计，DeepNorm 能把'模型更新的幅度'限制在 O(1)（不发散），从而支持极深网络。<strong>实验效果</strong>：DeepNorm 成功训练了 <strong>1000 层</strong>的 Transformer（Post-LN 结构），在机器翻译与语言模型上优于 Pre-LN 与原始 Post-LN。

实践要点：① <strong>与 Pre-LN 的对比</strong>——DeepNorm 保留 Post-LN 结构（归一化在残差后），理论上表达力更强（实验上在深模型上确实更好）；代价是需要计算 α、β（依赖层数 L），且对架构改动更敏感。② <strong>与 μP 的关系</strong>——两者都通过'按深度/宽度缩放'实现稳定性与超参迁移；DeepNorm 侧重<strong>深度</strong>方向的缩放，μP 侧重<strong>宽度</strong>。③ <strong>与其他深网技术的对比</strong>——(a) <strong>Sandwich-LN</strong>（子层前后都归一化）简单但计算增加；(b) <strong>ReZero</strong>（可学习标量门控残差分支，初始 0）；(c) <strong>Fixup</strong>（用初始化替代归一化）。④ <strong>实践适用</strong>——若需训练很深的 Transformer（>100 层）且追求 Post-LN 的表达力，DeepNorm 是可行方案；但现代 LLM（多数 ≤100 层）用 <strong>Pre-RMSNorm + 残差缩放</strong>已足够（更简单、生态更好）。⑤ <strong>注意</strong>——DeepNorm 的 α、β 依赖 L，改变层数需重算；且它与某些优化器/初始化方案可能不兼容，需按原论文设置。⑥ <strong>诊断</strong>——若深层 Post-LN 训练发散，可先试 DeepNorm；若深层 Pre-LN 效果不佳（欠拟合），可考虑 DeepNorm（更强的表达力）。