BatchNorm 批归一化

BatchNorm (批归一化) 沿 batch 维对每个特征通道做标准化, 消除内部协变量偏移 (ICS)。对输入 $x$, 先计算当前 batch 的均值与方差 $\mu_B = \frac{1}{m}\sum_{i=1}^{m} x_i$、$\sigma_B^2 = \frac{1}{m}\sum_{i=1}^{m}(x_i - \mu_B)^2$, 再归一化 $\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$, 最后做可学习的仿射变换 $y = \gamma\hat{x} + \beta$ (CNN 中每个通道一组 $\gamma, \beta$, $\epsilon$ 取 1e-5 量级防除零)。

图像 CNN 标配 (ResNet 等), 用于稳定训练、允许更大学习率、降低对初始化与 Dropout 的依赖; 面试常问训练/推理统计量差异、小 batch 为何失效、为什么 NLP/Transformer 改用 LN。

使每层激活保持零均值单位方差, 大幅平滑 loss 曲面, 收敛速度通常提升数倍 (训练 epoch 可减半量级), 并带轻微正则化副作用 (batch 统计噪声)。关键工程点: 训练时用当前 batch 统计量; 推理时用训练期指数滑动平均 (EMA, momentum 通常 0.1) 累积的 running mean/var——因此小 batch (batch=1 时 $\sigma_B=0$) 会使统计量失真、训练与推理行为不一致, 模型近乎失效, 这是 BN 的固有缺陷。

检验攻克程度：针对「BatchNorm 批归一化」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。