M3-023M3: 深度学习基础归一化技术Medium
⚡闪卡盲测➔掌握度:

解释 BatchNorm 在推理时为什么用 running 统计

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-024 →
📐 核心数学机理公式
μrun←mμrun+(1−m)μB\mu_{run}\leftarrow m\mu_{run}+(1-m)\mu_B
⚡ 一句话直击要害答案
推理时无 batch(或 batch=1),且需确定性输出;running 统计是训练期 batch 统计的滑动平均。

📌 核心要点提炼

  • •
    train/eval 行为不一致是常见 bug 源
  • •
    LN/GN 无此问题

📐 数学机理与严密推导

两个原因:① 推理时可能没有 batch——线上推理常是单样本或小 batch(batch=1 时 batch 方差为 0,无法归一化);② 确定性要求——推理结果不应依赖'同批处理的其他样本'(否则同一输入在不同 batch 组合下输出不同,不可复现、且引入信息泄漏)。running 统计的构造:训练时每个 batch 计算 μ_B、σ²_B,并用滑动平均更新全局估计:μ_run←m·μ_run+(1−m)·μ_B(m 通常 0.9–0.99,等价于对最近约 1/(1−m) 个 batch 的指数加权平均);σ² 同理。推理时用 μ_run、σ²_run 归一化,不再更新。为什么这样合理:训练结束后 μ_run 近似了'整个训练集的平均统计量',故推理时用它是无偏且确定的;这与'用训练集统计量做标准化'的直觉一致。常见 bug:① 忘记 <code>model.eval()</code>——推理时仍用 batch 统计,导致结果依赖 batch 组成、且随 batch 大小变化;② running 统计未收敛——训练步数太少(或 momentum 太小)时 μ_run 仍偏离真实分布,推理性能差;③ 微调时冻结 BN 统计——若微调数据分布与预训练不同,应更新 running 统计(或改用 GN/LN),否则归一化失配。

🏭 深度剖析与工业落地权衡

实践要点:① 微调 BN 的策略——(a) 数据分布相似、batch 大 → 正常更新 running 统计;(b) 数据分布不同或 batch 小 → 冻结 BN 统计(只训练 γ、β)或改用 GN/LN;这是迁移学习中的常见决策点。② 与 SyncBN——多卡训练时若各卡 batch 小,可用 SyncBN(跨卡同步统计量,等效于大 batch);代价是通信开销。③ BN 与 dropout 的冲突——dropout 改变激活方差,而 BN 的 running 统计是在有 dropout 时估计的,推理时 dropout 关闭导致方差偏移(见'BN 与 dropout'题)。④ BN 的初始化——γ=1、β=0(恒等);running_mean=0、running_var=1(初始假设标准正态)。⑤ 诊断方法——对比训练与推理模式下的输出(同一输入),若差异大说明 running 统计有问题;也可打印 μ_run 与训练集真实均值对比。⑥ 替代方案——若 batch 太小或推理需确定性,用 LN/GN(它们训练推理一致,无此问题);这也是 Transformer 用 LN 的原因之一。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    推理时未切换到 eval 模式(BN 用 batch 统计)
  • ✕
    微调时盲目冻结/更新 BN 统计而不检查分布差异
🎯 面试官连环追问与延伸考察
  • ?
    为什么 BN 在推理时不能用当前 batch 统计?
  • ?
    BN 的常见 bug 有哪些?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-022: Pre-LN 与 Post-LN 的区别是什么?为什么现代模型用 Pre-LN📋 返回题库下一题 →M3-024: 列举归一化层带来的副作用与替代方案