Normalization Techniques: 解释 Group Normalization 与它适合的场景。

Core Concept: 把通道分组、在组内与空间维度归一化；与 batch 无关，适合小 batch 的检测/分割。

机制：把 C 个通道分成 G 组（每组 C/G 个通道），对<strong>每个样本的每组</strong>在（组内通道 × 空间维度 H×W）上计算均值方差并归一化。<strong>与 BN/LN 的关系</strong>：(a) G=1 时 GN 退化为 <strong>LN</strong>（对所有通道+空间归一化）；(b) G=C 时退化为 <strong>IN（Instance Norm）</strong>（每个通道单独归一化）；故 GN 是 LN 与 IN 之间的插值，G 是可调超参（常用 32）。<strong>为什么适合小 batch</strong>：GN 的统计量<strong>只依赖单个样本</strong>（不跨 batch），故 batch=1 时仍有效；而 BN 在 batch 小时统计噪声大。<strong>为什么检测/分割的 batch 小</strong>：这类任务输入分辨率高（如 800×1333）、模型大（含 FPN 等多尺度结构），显存限制使 batch 常为 1–4；此外检测的输入尺寸可变，BN 的统计量难以一致。<strong>实验证据</strong>：He et al. (2018) 的 GN 论文显示在 COCO 检测与分割上，batch=1–4 时 GN 显著优于 BN（BN 在小 batch 下 mAP 下降数个百分点）。

实践要点：① <strong>G 的选择</strong>——常用 32（与通道数匹配）；G 过小（如 1）接近 LN（损失通道特异性）、G 过大（如 C）接近 IN（归一化范围太小、可能损失信息）；实践中 32 是稳健默认。② <strong>GN 与 WS 的组合</strong>——<strong>Weight Standardization + Group Norm</strong>（WS+GN）在小 batch 检测上常优于 BN，是许多检测框架（如 Detectron2 的某些配置）的默认。③ <strong>GN 的计算成本</strong>——与 BN 相当（归一化的元素总数相同），但归约范围不同（GN 在单样本内、BN 跨样本）；在 GPU 上 GN 的效率略低（归约不跨 batch，并行度稍差）。④ <strong>与 LN 的对比</strong>——LN 对 (C,H,W) 全体归一化（G=1），会混合不同通道的统计；GN 保留通道分组，更适合卷积特征（不同通道组可能编码不同语义）。⑤ <strong>适用与不适用</strong>——适合：检测、分割、视频、3D、以及任何小 batch 的视觉任务；不适合：大 batch 分类（BN 更快且效果好）、序列任务（用 LN）。⑥ <strong>实践建议</strong>——若训练时 batch 被迫很小（显存限制），优先试 GN（或 WS+GN）；若可增大 batch，BN 通常仍是更优选择。