归一化 Pre-LN/RMSNorm

LayerNorm 沿最后一维标准化:$LN(x) = \frac{x - mean}{\sqrt{var}} \cdot \gamma + \beta$;Pre-LN 把归一化放在残差子层之前($x + SubLayer(LN(x))$),Post-LN 放在残差相加之后;RMSNorm 去掉均值项,只按均方根缩放:$RMSNorm(x) = \frac{x}{\sqrt{mean(x^2)}} \cdot \gamma$。

LLaMA/Mistral/Qwen 等主流模型全部用 Pre-LN + RMSNorm;面试常考"为什么 Pre-LN 训练深层更稳""RMSNorm 为什么能去均值"。

Post-LN 中残差信号被逐层归一化衰减,深层训练不稳定,需要精细 warmup 与梯度裁剪;Pre-LN 让梯度沿残差恒等路径直接回传,深层稳定;RMSNorm 去掉均值计算(归一化算力约省 1/3),且实验表明重中心化对 Transformer 精度几乎无影响,因此可以省略。

Pre-LN 与 Post-LN 的结构区别?为什么 Pre-LN 深层训练更稳定?

RMSNorm 的公式?与 LayerNorm 的差异及为什么去掉均值可行?

Pre-LN 的缺点?(残差信号漂移,后期精度可能不如 Post-LN,可预热后切换)

归一化在残差内外的位置为什么重要?$\gamma$ 缩放参数为什么必须保留?

DeepNorm 解决什么问题?(Post-LN 千层模型的稳定训练)