BN vs LN vs GN 对比

三种主流归一化的本质差异在统计量的计算维度 (输入 $x \in \mathbb{R}^{N \times C \times H \times W}$): • BN (BatchNorm): 统计范围 (N, H, W) — 跨 batch 与空间维, 每通道独立, $\hat{x}_c = \frac{x_c - \mu_{B,c}}{\sqrt{\sigma_{B,c}^2 + \epsilon}}$; • LN (LayerNorm): 统计范围 (C, H, W) — 单样本内跨全部通道, $\mu = \frac{1}{CHW}\sum x$; • GN (GroupNorm): 统计范围 (C/G, H, W) — 单样本内把通道分成 $G$ 组 (如 32), 组内归一化。

BN — 大 batch 的 CNN 分类; LN — Transformer/LLM/RNN (与 batch 无关, 变长序列友好); GN — 小 batch 任务 (检测/分割, 每卡 1~2 张图) 及 BN 无法工作的 3D/视频。面试常考: 一张表对比三者统计维度 + 各自失效场景。

归一化稳定激活分布、加速收敛并允许更大学习率; 取舍本质是“统计量跨多少样本/通道共享”: BN 依赖 batch 统计 (小 batch 失真, 训练/推理不一致), LN 完全不依赖 batch 但假设各通道同分布 (对 CNN 特征图不如 BN 贴切, 正则化也更弱), GN 是折中——引入通道分组统计, 小 batch 下稳定且与 batch size 无关, 已成为每卡 1~2 张图的检测任务标配。

检验攻克程度：针对「BN vs LN vs GN 对比」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。