B4MediumPart B · 归一化全家族

GroupNorm 与 InstanceNorm(分组与实例归一化)

⚡闪卡盲测➔

何恺明团队经典架构,将通道划分为 G 个组独立归一化,彻底解除对 Batch Size 大小的依赖。

⏱️ 时间复杂度: O(B * C * H * W)
💾 空间复杂度: O(1) 原地归一化
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def group_norm(
x: np.ndarray,
gamma: np.ndarray,
beta: np.ndarray,
num_groups: int = 4,
eps: float = 1e-5
) -> np.ndarray:
"""
GroupNorm 工业纯手写实现。
参数:
x: (B, C, H, W)
gamma, beta: (1, C, 1, 1) 可学习参数
num_groups: 分组数 G,要求 C % G == 0
"""
B, C, H, W = x.shape
assert C % num_groups == 0, f"通道数 {C} 必须能被组数 {num_groups} 整除"
channels_per_group =
# 核心步骤:重塑为 (B, G, C//G, H, W)
x_reshaped = x.reshape(B, num_groups, channels_per_group, H, W)
# 沿组内轴 (2, 3, 4) 求均值与方差
mean = np.mean(x_reshaped, axis=(2, 3, 4), keepdims=True)
var = np.var(x_reshaped, axis=(2, 3, 4), keepdims=True)
# 组内归一化
x_norm = (x_reshaped - mean) / np.sqrt(var + eps)
# 还原形状回 (B, C, H, W)
x_norm = x_norm.reshape(B, C, H, W)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在扩散模型(Diffusion U-Net / DiT)中倾向于使用 GroupNorm 而非 LayerNorm?
下一题: Inverted Dropout(倒置丢弃法与缩放因子) →
💡

实战一句话记忆口诀

通道重塑拆成组,组内宽高一起平,小批训练救星来

📐 核心数学公式与机理推导

x∈RB×C×H×W→Reshape(B,G,C/G,H,W)  ⟹  μ,σ over (C/G,H,W)x \in \mathbb{R}^{B \times C \times H \times W} \xrightarrow{\text{Reshape}} (B, G, C/G, H, W) \implies \mu, \sigma \text{ over } (C/G, H, W)
### 通道解耦与几何物理意义
在小 Batch Size(如检测、分割、多模态高分辨率图像生成任务中 Batch=1 或 2)下,BatchNorm 统计量剧烈抖动导致训练发散。
何恺明等人在 2018 年提出 GroupNorm(GN):
- 将 CC 个通道划分为 GG 个组(Group),每组包含 C/GC/G 个通道;
- 沿每组的 (C/G,H,W)(C/G, H, W) 计算均值和方差;
- 极端特例 1:当 G=1G = 1 时,退化为针对整张图的 LayerNorm;
- 极端特例 2:当 G=CG = C 时,退化为针对单个通道的 InstanceNorm(常用于风格迁移和音频合成)。

🔄 张量维度与形状流转说明

(B, C, H, W) -> reshape -> (B, G, C//G, H, W) -> mean/var on axis=(2,3,4) -> (B, G, 1, 1, 1) -> 归一化 -> 还原 (B, C, H, W) -> gamma/beta 仿射

🛡️ 数值稳定性自检与边界要点

  • 必须确保 C % num_groups == 0
  • 在 Diffusion 架构(如 Stable Diffusion / DiT)中,ResNetBlock 普遍采用 GroupNorm(32) 代替 BatchNorm
  • 训练和测试完全无需切换模式,表现恒定一致

💻 完整参考代码实现

import numpy as np

def group_norm(
    x: np.ndarray,
    gamma: np.ndarray,
    beta: np.ndarray,
    num_groups: int = 4,
    eps: float = 1e-5
) -> np.ndarray:
    """
    GroupNorm 工业纯手写实现。
    参数:
        x: (B, C, H, W)
        gamma, beta: (1, C, 1, 1) 可学习参数
        num_groups: 分组数 G,要求 C % G == 0
    """
    B, C, H, W = x.shape
    assert C % num_groups == 0, f"通道数 {C} 必须能被组数 {num_groups} 整除"
    channels_per_group = C // num_groups
    
    # 核心步骤:重塑为 (B, G, C//G, H, W)
    x_reshaped = x.reshape(B, num_groups, channels_per_group, H, W)
    
    # 沿组内轴 (2, 3, 4) 求均值与方差
    mean = np.mean(x_reshaped, axis=(2, 3, 4), keepdims=True)
    var = np.var(x_reshaped, axis=(2, 3, 4), keepdims=True)
    
    # 组内归一化
    x_norm = (x_reshaped - mean) / np.sqrt(var + eps)
    
    # 还原形状回 (B, C, H, W)
    x_norm = x_norm.reshape(B, C, H, W)
    
    return gamma * x_norm + beta

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
x = np.random.randn(2, 8, 4, 4)
gamma = np.ones((1, 8, 1, 1))
beta = np.zeros((1, 8, 1, 1))
out = group_norm(x, gamma, beta, num_groups=4)
assert out.shape == (2, 8, 4, 4)
# 验证每个样本内每个组的均值为 0
out_g = out.reshape(2, 4, 2, 4, 4)
assert np.allclose(out_g.mean(axis=(2, 3, 4)), 0.0, atol=1e-3)
print("✓ GroupNorm 自测通过")

🎯 核心工程追问与标准应答

Q1:为什么在扩散模型(Diffusion U-Net / DiT)中倾向于使用 GroupNorm 而非 LayerNorm?
图像特征具有强烈的空间局部关联性与多通道相关性。GroupNorm 允许同一语义分组内的不同特征通道(如边缘与纹理)共享统计量,在保持通道表达独立性的同时平滑空间激活,实验证明在生成画质上显著优于 LayerNorm。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: BatchNorm1d(批归一化与训练/推理行为差异)返回 Part B 与全部 105 题下一题: Inverted Dropout(倒置丢弃法与缩放因子) →