M3-020M3: 深度学习基础归一化技术Easy
⚡闪卡盲测➔掌握度:

比较 BatchNorm 与 LayerNorm 的归一化维度与适用场景

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-021 →
📐 核心数学机理公式
BN: x−μBσB2+ϵ;LN: x−μσ2+ϵ\text{BN}:\ \frac{x-\mu_B}{\sqrt{\sigma_B^2+\epsilon}};\qquad \text{LN}:\ \frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}
⚡ 一句话直击要害答案
BN 跨 batch 归一化(依赖 batch,CNN 常用);LN 跨特征归一化(与 batch 无关,Transformer/RNN 常用)。

📌 核心要点提炼

  • •
    BN 训练/推理行为不同(running stats)
  • •
    LN 训练推理一致,适合变长序列

📐 数学机理与严密推导

归一化维度的差异:设输入为 (N, C, H, W)(图像)或 (N, L, D)(序列)。BatchNorm 对每个通道统计跨样本(N)与空间(H,W) 的均值方差,故统计量依赖 batch 组成;LayerNorm 对每个样本统计跨特征(D 或 C,H,W) 的均值方差,与 batch 无关。适用场景:① BN 适合 CNN(图像),因为图像特征的通道统计在样本间稳定、且大 batch 下统计量可靠;② LN 适合 Transformer/RNN,因为序列长度可变(BN 的跨样本统计会因 padding 而失真)、且小 batch 下 BN 统计不可靠。为什么 NLP 用 LN:(a) 序列长度可变 → BN 需处理 padding 与变长统计,复杂且不准确;(b) NLP 任务的 batch 常较小(长序列占显存)→ BN 统计噪声大;(c) LN 对每个 token 独立归一化,与序列长度解耦。BN 对小 batch 效果差的原因:batch 越小,batch 统计量(均值/方差)的估计噪声越大(方差 ∝1/batch),导致归一化不稳定、running 统计偏离真实分布;极端情形(batch=1)时 BN 的方差为 0,完全失效。

🏭 深度剖析与工业落地权衡

实践要点:① BN 的训练/推理差异——训练用 batch 统计并更新 running 统计;推理用 running 统计(因为推理时可能无 batch 或 batch=1)。这个差异是最常见的 bug 来源(忘记 model.eval() 导致推理结果异常)。② LN 的无参数与有参数版本——LN 通常带可学习的 γ(缩放)与 β(平移),初始化为 γ=1、β=0(恒等);RMSNorm 去掉均值中心化与 β(见下题)。③ 归一化位置——BN 通常放在卷积后、激活前(Conv-BN-ReLU);LN 在 Transformer 中放在子层前(Pre-LN)或后(Post-LN)。④ 其他归一化——GN(Group Norm)(分组内归一化,与 batch 无关,适合小 batch 视觉任务)、IN(Instance Norm)(风格迁移)、Weight Norm(对权重归一化)。⑤ 实践建议——视觉任务用 BN(大 batch)或 GN(小 batch);NLP/序列用 LN/RMSNorm;Transformer 中优先 Pre-LN。⑥ 诊断——若训练 loss 震荡且梯度范数波动大,可能是 BN 统计不稳(batch 太小);可换 GN/LN 或增大 batch。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    在变长序列上用 BN(padding 导致统计失真)
  • ✕
    推理时忘记 model.eval() 导致 BN 用 batch 统计
🎯 面试官连环追问与延伸考察
  • ?
    为什么 NLP 用 LN 而不是 BN?
  • ?
    BN 为什么对小 batch 效果差?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-019: GELU 与 SiLU 的区别与联系?各自被哪些模型采用?📋 返回题库下一题 →M3-021: 解释 RMSNorm 与 LayerNorm 的差异,为什么 LLaMA 用 RMSNorm