🧠 深度学习ID: layernorm-rmsnorm

LayerNorm 与 RMSNorm

Q: 写出 LayerNorm 公式 $y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta$ 并说明它沿哪个维度归一化、为什么与 batch size 无关?

【LayerNorm 与 RMSNorm 核心考点 1】写出 LayerNorm 公式 $y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta$ 并说明它沿哪个维度归一化、为什么与 batch size 无关?。技术解析：定义: LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对 x \in \mathbb{R}^d 计算 \mu = \frac{1}{d}\sum_{i=1}^{d}x_i、\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2, 得 y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做 y = \frac{x}{\sqrt{\frac{1}{d}\sum_... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/DL/card/layernorm-rmsnorm

Q: RMSNorm 与 LN 的区别: 去掉均值中心化为什么影响很小? 在 LLM 中主要省了什么 (计算量/提速多少)?

【LayerNorm 与 RMSNorm 核心考点 2】RMSNorm 与 LN 的区别: 去掉均值中心化为什么影响很小? 在 LLM 中主要省了什么 (计算量/提速多少)?。技术解析：定义: LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对 x \in \mathbb{R}^d 计算 \mu = \frac{1}{d}\sum_{i=1}^{d}x_i、\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2, 得 y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做 y = \frac{x}{\sqrt{\frac{1}{d}\sum_... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/DL/card/layernorm-rmsnorm

Q: LN 中 $\gamma, \beta$ 的作用: 去掉可学习参数会发生什么? 为什么需要它们恢复表达能力?

【LayerNorm 与 RMSNorm 核心考点 3】LN 中 $\gamma, \beta$ 的作用: 去掉可学习参数会发生什么? 为什么需要它们恢复表达能力?。技术解析：定义: LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对 x \in \mathbb{R}^d 计算 \mu = \frac{1}{d}\sum_{i=1}^{d}x_i、\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2, 得 y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做 y = \frac{x}{\sqrt{\frac{1}{d}\sum_... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/DL/card/layernorm-rmsnorm

Q: Pre-Norm 与 Post-Norm 的区别, 为什么现代 Transformer 用 Pre-LN (训练稳定性、残差梯度路径)?

【LayerNorm 与 RMSNorm 核心考点 4】Pre-Norm 与 Post-Norm 的区别, 为什么现代 Transformer 用 Pre-LN (训练稳定性、残差梯度路径)?。技术解析：定义: LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对 x \in \mathbb{R}^d 计算 \mu = \frac{1}{d}\sum_{i=1}^{d}x_i、\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2, 得 y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做 y = \frac{x}{\sqrt{\frac{1}{d}\sum_... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/DL/card/layernorm-rmsnorm

Q: 为什么 RNN/变长序列场景必须用 LN 而非 BN? 对比两者在 batch 依赖、padding 处理上的差异?

【LayerNorm 与 RMSNorm 核心考点 5】为什么 RNN/变长序列场景必须用 LN 而非 BN? 对比两者在 batch 依赖、padding 处理上的差异?。技术解析：定义: LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对 x \in \mathbb{R}^d 计算 \mu = \frac{1}{d}\sum_{i=1}^{d}x_i、\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2, 得 y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做 y = \frac{x}{\sqrt{\frac{1}{d}\sum_... 完整推导与工程落地见：https://talentme.airsota.com/resources/tech/roadmap/mindmap/DL/card/layernorm-rmsnorm

LayerNorm & RMSNorm

🎯核心定义

LayerNorm (层归一化) 在单个样本内沿特征维归一化, 与 batch 无关: 对

x \in \mathbb{R}^d

计算

\mu = \frac{1}{d}\sum_{i=1}^{d}x_i

、

\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2

, 得

y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta

。RMSNorm 是 LN 的简化: 去掉均值中心化, 只做

y = \frac{x}{\sqrt{\frac{1}{d}\sum_{i=1}^{d}x_i^2 + \epsilon}}\cdot\gamma

。

💡使用场景

Transformer/NLP/RNN 标配 (序列变长, batch 统计不可靠); RMSNorm 是 LLaMA/Qwen 等 LLM 的默认选择 (省去均值与偏置计算, 训练提速约 7%~30%)。面试常问: LN 为什么与 batch size 无关、RMSNorm 为什么够用、Pre-Norm 位置。

⚡解决的核心痛点

摆脱对 batch 的依赖, batch=1 也能正常工作, 且变长序列无 padding 污染。为什么去掉中心化仍够用: 层内天然具有重定心/重缩放不变性, 均值项会被后续残差层吸收; 代价是正则化作用比 BN 弱 (没有 batch 间统计噪声)。

🎯5 个高频面试考点 (Exam Points)

写出 LayerNorm 公式

y = \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta

并说明它沿哪个维度归一化、为什么与 batch size 无关?

RMSNorm 与 LN 的区别: 去掉均值中心化为什么影响很小? 在 LLM 中主要省了什么 (计算量/提速多少)?

LN 中

\gamma, \beta

的作用: 去掉可学习参数会发生什么? 为什么需要它们恢复表达能力?

Pre-Norm 与 Post-Norm 的区别, 为什么现代 Transformer 用 Pre-LN (训练稳定性、残差梯度路径)?

为什么 RNN/变长序列场景必须用 LN 而非 BN? 对比两者在 batch 依赖、padding 处理上的差异?

📖 关联深度指南:📄 normalization-and-regularization →

更新于 2026-08-12

🎯

检验攻克程度：针对「LayerNorm 与 RMSNorm」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。

🚀 开始本考点专项刷题 ➔

← 上一个知识点BatchNorm 批归一化下一个知识点 →BN vs LN vs GN 对比

🔗 更多深度学习知识点卡片

激活函数演进 Adam/AdamW Autograd 动态图经典 CNN 演进

LayerNorm 与 RMSNorm

🔗 更多 深度学习 知识点卡片

🔗 更多深度学习知识点卡片