M3-025M3: 深度学习基础归一化技术Medium
⚡闪卡盲测➔掌握度:

解释 Group Normalization 与它适合的场景

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-026 →
📐 核心数学机理公式
GN: μ,σ computed over (C/G, H, W) per sample\text{GN}:\ \mu,\sigma\ \text{computed over (C/G, H, W) per sample}
⚡ 一句话直击要害答案
把通道分组、在组内与空间维度归一化;与 batch 无关,适合小 batch 的检测/分割。

📌 核心要点提炼

  • •
    分组数 G 是超参(常用 32)
  • •
    batch 无关 → 训练推理一致

📐 数学机理与严密推导

机制:把 C 个通道分成 G 组(每组 C/G 个通道),对每个样本的每组在(组内通道 × 空间维度 H×W)上计算均值方差并归一化。与 BN/LN 的关系:(a) G=1 时 GN 退化为 LN(对所有通道+空间归一化);(b) G=C 时退化为 IN(Instance Norm)(每个通道单独归一化);故 GN 是 LN 与 IN 之间的插值,G 是可调超参(常用 32)。为什么适合小 batch:GN 的统计量只依赖单个样本(不跨 batch),故 batch=1 时仍有效;而 BN 在 batch 小时统计噪声大。为什么检测/分割的 batch 小:这类任务输入分辨率高(如 800×1333)、模型大(含 FPN 等多尺度结构),显存限制使 batch 常为 1–4;此外检测的输入尺寸可变,BN 的统计量难以一致。实验证据:He et al. (2018) 的 GN 论文显示在 COCO 检测与分割上,batch=1–4 时 GN 显著优于 BN(BN 在小 batch 下 mAP 下降数个百分点)。

🏭 深度剖析与工业落地权衡

实践要点:① G 的选择——常用 32(与通道数匹配);G 过小(如 1)接近 LN(损失通道特异性)、G 过大(如 C)接近 IN(归一化范围太小、可能损失信息);实践中 32 是稳健默认。② GN 与 WS 的组合——Weight Standardization + Group Norm(WS+GN)在小 batch 检测上常优于 BN,是许多检测框架(如 Detectron2 的某些配置)的默认。③ GN 的计算成本——与 BN 相当(归一化的元素总数相同),但归约范围不同(GN 在单样本内、BN 跨样本);在 GPU 上 GN 的效率略低(归约不跨 batch,并行度稍差)。④ 与 LN 的对比——LN 对 (C,H,W) 全体归一化(G=1),会混合不同通道的统计;GN 保留通道分组,更适合卷积特征(不同通道组可能编码不同语义)。⑤ 适用与不适用——适合:检测、分割、视频、3D、以及任何小 batch 的视觉任务;不适合:大 batch 分类(BN 更快且效果好)、序列任务(用 LN)。⑥ 实践建议——若训练时 batch 被迫很小(显存限制),优先试 GN(或 WS+GN);若可增大 batch,BN 通常仍是更优选择。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    小 batch 检测任务用 BN 导致性能下降
  • ✕
    GN 的分组数 G 设为 1(退化为 LN,损失通道特异性)
🎯 面试官连环追问与延伸考察
  • ?
    GN 与 LN 的关系?
  • ?
    为什么检测/分割的 batch 很小?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-024: 列举归一化层带来的副作用与替代方案📋 返回题库下一题 →M3-026: 解释 Weight Standardization 与它在无 BN 网络中的作用