Normalization Techniques: 解释 RMSNorm 与 LayerNorm 的差异，为什么 LLaMA 用 RMSNorm。

Core Concept: RMSNorm 不减均值、无偏置，只按均方根缩放；更省算力且效果相当。

差异对比：<strong>LayerNorm</strong> 做两步——(a) 减去均值（中心化）、(b) 除以标准差（缩放），再施加 γ 与 β；<strong>RMSNorm</strong> 只做一步——除以<strong>均方根</strong> RMS=√(mean(x²))，再施加 γ（<strong>无 β</strong>、<strong>不减均值</strong>）。<strong>为什么可以去掉中心化</strong>：① <strong>理论观察</strong>——LayerNorm 的主要收益来自<strong>缩放不变性</strong>（除以范数使激活尺度稳定），而非中心化；中心化主要影响'与后续线性层的交互'（因为线性层有偏置可吸收均值，故中心化的必要性下降）；② <strong>实验验证</strong>——Zhang & Sennrich (2019) 发现只做缩放（RMSNorm）在多项任务上与 LayerNorm 相当，但<strong>计算量减少约 7–15%</strong>（省去均值计算与 β 参数）；③ <strong>参数与计算</strong>——RMSNorm 少一个 β 参数（d 个）、少一次均值归约（对长序列的归约开销不可忽略）。<strong>LLaMA 采用 RMSNorm 的原因</strong>：更简单、更快（大模型中归一化的调用次数极多：每层 2 次、L 层共 2L 次）、且实验效果不降；这符合大模型'每一分计算都要省'的工程哲学。

实践要点：① <strong>数值稳定性</strong>——RMSNorm 的分母是均方根（恒正），需加 ε（通常 1e-5 到 1e-6；FP16 下需放大）；因为不减均值，x 的均值偏移不会导致方差过小的问题，故 ε 的要求比 LN 宽松。② <strong>与 LN 的等价性</strong>——若数据的均值恰好为 0（或后续线性层吸收了均值），两者等价；一般情形下 RMSNorm 相当于'不做中心化的 LN'。③ <strong>在 Transformer 中的位置</strong>——LLaMA 用 <strong>Pre-RMSNorm</strong>（在子层前归一化）；也有变体在 Q/K 上加 RMSNorm（QK-Norm）以稳定 attention logits。④ <strong>其他简化</strong>——<strong>Gemma RMSNorm</strong> 用 (1+w) 替代 γ（初始化 w=0 使初始缩放为 1），避免 γ 初始化为 1 的特殊处理；<strong>ScaleNorm</strong> 用整个向量的范数（而非均方根）。⑤ <strong>实验证据</strong>——RMSNorm 已被 LLaMA、PaLM、Gemma、Qwen 等广泛采用；在同等规模下与 LN 的性能差异很小（<0.5%），但速度优势明确。⑥ <strong>实践建议</strong>——大模型（尤其 LLM）优先用 RMSNorm；视觉/传统任务用 LN 或 BN；若不确定，可两者都试（差异通常很小）。