B1Easy★ 工业基石 (核心高频)Part B · 归一化全家族

LayerNorm(层归一化与仿射变换)

⚡闪卡盲测➔

跨特征维度归一化,训练与推理行为完全一致,包含可学习参数 gamma 和 beta。

⏱️ 时间复杂度: O(B * S * D) 线性耗时
💾 空间复杂度: O(1) 无额外持久化状态,推理零额外显存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def layer_norm(
x: np.ndarray,
gamma: np.ndarray,
beta: np.ndarray,
eps: float = 1e-5
) -> np.ndarray:
"""
纯手写 LayerNorm 算子。
参数:
x: (B, S, D) 输入激活
gamma: (D,) 可学习缩放仿射系数
beta: (D,) 可学习偏置仿射系数
eps: 防止方差为 0 的数值缓冲
返回:
out: (B, S, D)
"""
# 沿特征轴 (axis=-1) 计算均值与方差,保留维度
mean =
var = np.var(x, axis=-1, keepdims=True)
# 归一化
x_hat = (x - mean) / np.sqrt(var + eps)
# 仿射变换
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: Pre-LN 与 Post-LN Transformer 架构的核心区别与权衡是什么?
下一题: RMSNorm(均方根归一化) →
💡

实战一句话记忆口诀

末维算均差,减均除以根号差加截断,gamma 乘 beta 加

📐 核心数学公式与机理推导

x^=x−μσ2+ϵ,y=γ⊙x^+β\hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}}, \quad y = \gamma \odot \hat{x} + \beta
### 数学公式与维度作用
对于输入张量 x∈RB×S×Dx \in \mathbb{R}^{B \times S \times D},LayerNorm 沿最后一个特征维度 DD 独立计算样本均值与方差:
μ=1D∑i=1Dxi,σ2=1D∑i=1D(xi−μ)2\mu = \frac{1}{D} \sum_{i=1}^D x_i, \quad \sigma^2 = \frac{1}{D} \sum_{i=1}^D (x_i - \mu)^2
不同于 BatchNorm 依赖 Batch 内多个样本的统计量,LayerNorm 仅在单个序列的单个 Token 内部进行统计计算。因此:
1. Batch 维度完全解耦:适合变长序列和 Batch Size = 1 的大模型推理;
2. Train 与 Eval 阶段行为完全一致:无需维护 running_mean 与 running_var 全局状态。

🔄 张量维度与形状流转说明

(B, S, D) -> mean: (B, S, 1) -> var: (B, S, 1) -> x_hat: (B, S, D) -> gamma * x_hat + beta -> (B, S, D)

🛡️ 数值稳定性自检与边界要点

  • 分母开方内必须加上 eps(一般 1e-5),绝对不可写在根号外
  • keepdims=True 必不可少,保证 (B, S, 1) 与 (B, S, D) 能够自动广播
  • 反向传播时,gamma 的梯度需对 (B, S) 维度做求和规约

💻 完整参考代码实现

import numpy as np

def layer_norm(
    x: np.ndarray,
    gamma: np.ndarray,
    beta: np.ndarray,
    eps: float = 1e-5
) -> np.ndarray:
    """
    纯手写 LayerNorm 算子。
    参数:
        x: (B, S, D) 输入激活
        gamma: (D,) 可学习缩放仿射系数
        beta:  (D,) 可学习偏置仿射系数
        eps:   防止方差为 0 的数值缓冲
    返回:
        out: (B, S, D)
    """
    # 沿特征轴 (axis=-1) 计算均值与方差,保留维度
    mean = np.mean(x, axis=-1, keepdims=True)
    var = np.var(x, axis=-1, keepdims=True)
    
    # 归一化
    x_hat = (x - mean) / np.sqrt(var + eps)
    
    # 仿射变换
    return gamma * x_hat + beta

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
x = np.random.randn(2, 4, 8)
gamma = np.ones(8)
beta = np.zeros(8)
out = layer_norm(x, gamma, beta)
# 验证最后一维的均值为 0,方差为 1
assert np.allclose(out.mean(axis=-1), 0.0, atol=1e-6)
assert np.allclose(out.var(axis=-1), 1.0, atol=1e-3)
print("✓ LayerNorm 自测通过")

🎯 核心工程追问与标准应答

Q1:Pre-LN 与 Post-LN Transformer 架构的核心区别与权衡是什么?
Post-LN 将 LayerNorm 放在残差相加之后,深层网络梯度易在反向传播时衰减或爆炸,对学习率 Warmup 极度敏感;Pre-LN 将 LayerNorm 放在多头注意力和 FFN 分支之前,残差主干保留恒等映射通道,使得百亿千亿级参数模型训练极其稳定。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Softplus 与 LeakyReLU(数值防溢出分段)返回 Part B 与全部 105 题下一题: RMSNorm(均方根归一化) →