B5Easy★ 工业基石 (核心高频)Part B · 归一化全家族

Inverted Dropout(倒置丢弃法与缩放因子)

⚡闪卡盲测➔

训练期按 1/(1-p) 进行倒置缩放,保证输出数学期望在训练与推理期恒定一致,使推理期实现完全零计算开销。

⏱️ 时间复杂度: 训练期 O(N) 掩码采样与乘法;推理期 O(1) 零计算恒等
💾 空间复杂度: 训练期需临时保存 mask 用于反传;推理期 0 额外显存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def inverted_dropout(x: np.ndarray, p: float = 0.5, training: bool = True) -> np.ndarray:
"""
参数:
x: 输入张量
p: 丢弃概率 (0 <= p < 1),注意是丢弃概率而非保留概率
training: 是否处于训练模式
"""
if not training or p == 0.0:
# 推理阶段直接返回恒等映射,零运算开销
return x
keep_prob = 1.0 - p
# 生成保留掩码 (按 keep_prob 为 1,否则为 0)
mask = (np.random.rand(*x.shape) < keep_prob).astype(x.dtype)
# 核心:除以 keep_prob 进行倒置期望补偿
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在现代大语言模型(如 LLaMA / GPT-3)中,通常在预训练阶段将 Dropout 设为 0?
下一题: Sinusoidal 绝对位置编码(正余弦几何交变) →
💡

实战一句话记忆口诀

训练倒除一减 p,期望恒定不挪位;测试直接放行过,零卡零算零开销

📐 核心数学公式与机理推导

Train: y=x⊙m1−p,m∼Bernoulli(1−p);Eval: y=x\text{Train: } y = \frac{x \odot m}{1 - p}, \quad m \sim \mathrm{Bernoulli}(1 - p); \quad \text{Eval: } y = x
### 倒置缩放(Inverted Scaling)推导
传统 Vanilla Dropout 在训练时直接令神经元以概率 pp 置零:y=x⊙my = x \odot m。
由于随机掩码的期望为 E[m]=1−p\mathbb{E}[m] = 1 - p,输出期望被压缩为 E[y]=(1−p)x\mathbb{E}[y] = (1 - p)x。为了在测试时保持尺度匹配,推理阶段必须对所有神经元乘以 (1−p)(1 - p)。

痛点:这意味着推理阶段不仅不能关闭计算,还要额外对整网激活做一次无意义的缩放乘法。
现代解法(Inverted Dropout):
将缩放操作移到训练期!训练时直接除以 (1−p)(1 - p):
E[ytrain]=E[x⊙m1−p]=x⋅(1−p)1−p=x\mathbb{E}[y_{\text{train}}] = \mathbb{E}\left[\frac{x \odot m}{1 - p}\right] = \frac{x \cdot (1 - p)}{1 - p} = x
由于训练期已经完成了期望等价归一,推理期直接令 $y = x$,完全不需要做任何乘法或判断,真正做到测试零开销。

🔄 张量维度与形状流转说明

训练: (B, S, D) -> 伯努利随机掩码 (0/1) -> 乘以掩码并除以 (1-p) -> (B, S, D); 推理: (B, S, D) -> 恒等放行 -> (B, S, D)

🛡️ 数值稳定性自检与边界要点

  • 丢弃概率 p 必须小于 1.0,防止除以零崩溃
  • 测试阶段绝对不要进行 mask 随机采样与缩放
  • 在反向传播时,梯度通过同一份 mask / keep_prob 进行反传传递

💻 完整参考代码实现

import numpy as np

def inverted_dropout(x: np.ndarray, p: float = 0.5, training: bool = True) -> np.ndarray:
    """
    参数:
        x: 输入张量
        p: 丢弃概率 (0 <= p < 1),注意是丢弃概率而非保留概率
        training: 是否处于训练模式
    """
    if not training or p == 0.0:
        # 推理阶段直接返回恒等映射,零运算开销
        return x
    
    keep_prob = 1.0 - p
    # 生成保留掩码 (按 keep_prob 为 1,否则为 0)
    mask = (np.random.rand(*x.shape) < keep_prob).astype(x.dtype)
    
    # 核心:除以 keep_prob 进行倒置期望补偿
    return (x * mask) / keep_prob

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
x = np.ones((1000, 1000))
out_train = inverted_dropout(x, p=0.3, training=True)
# 训练期均值数学期望应严格保持为 1.0
assert np.isclose(out_train.mean(), 1.0, atol=1e-2)
# 检查置零比例约为 30%
assert np.isclose((out_train == 0).mean(), 0.3, atol=1e-2)
out_eval = inverted_dropout(x, p=0.3, training=False)
assert np.array_equal(out_eval, x), "推理阶段必须为完全恒等"
print("✓ Inverted Dropout 自测通过")

🎯 核心工程追问与标准应答

Q1:为什么在现代大语言模型(如 LLaMA / GPT-3)中,通常在预训练阶段将 Dropout 设为 0?
由于海量互联网预训练数据规模巨大(数万亿 Token),模型在单次 Epoch 内几乎不会复现相同样本,过拟合风险较低;此外,Dropout 会破坏激活值的确定性并削弱长上下文特征的稳定表征,且会增加显存中保存 Mask 的带宽瓶颈。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: GroupNorm 与 InstanceNorm(分组与实例归一化)返回 Part B 与全部 105 题下一题: Sinusoidal 绝对位置编码(正余弦几何交变) →