H4EasyPart H · 优化器与训练系统

EMA(模型权重指数移动平均)

⚡闪卡盲测➔

平滑权重震荡的泛化神器,生成模型(Diffusion)与自监督学习(BYOL/MoCo)标配。

⏱️ 时间复杂度: O(P)
💾 空间复杂度: O(P) 需要额外常驻一份权重显存
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class ModelEMA:
def __init__(self, model_params: list, decay: float = 0.999):
self.decay = decay
# 影子权重深拷贝初始化
self.shadow_params =
def update(self, current_params: list):
for s, c in zip(self.shadow_params, current_params):
# s = decay * s + (1 - decay) * c
s *= self.decay
s += (1.0 - self.decay) * c
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: SWA(Stochastic Weight Averaging)与 EMA 有何异同?
下一题: PyTorch 混合精度训练循环骨架(AMP GradScaler) →
💡

实战一句话记忆口诀

影子权重暗中随,动量平滑时间均,主路剧烈来回荡,影子沉稳入盆地

📐 核心数学公式与机理推导

θEMA←βθEMA+(1−β)θtrain\theta_{\text{EMA}} \leftarrow \beta \theta_{\text{EMA}} + (1 - \beta) \theta_{\text{train}}
### 参数空间的时间集成(Temporal Ensemble)
随机梯度下降(SGD/Adam)在最优解附近的损失曲面中往往存在持续的高频扰动。
EMA 维护一套独立的影子权重(Shadow Weights):
θEMA(t)=βθEMA(t−1)+(1−β)θ(t)\theta_{\text{EMA}}^{(t)} = \beta \theta_{\text{EMA}}^{(t-1)} + (1 - \beta) \theta^{(t)}
其中动量衰减系数 β\beta 通常非常接近 1(如 0.999 或 0.9999)。
- 几何物理意义:EMA 权重相当于对历史训练轨迹上的参数进行了高维时间积分平均,落入损失更平坦的极值盆地(Flat Minima);
- 推理应用:训练期间仅由主模型参与反传;模型评测与最终上线部署时,直接使用 θEMA\theta_{\text{EMA}} 进行推理,画质与泛化性显著更优。

🔄 张量维度与形状流转说明

current_params -> s = decay * s + (1 - decay) * c -> 更新 shadow_params

🛡️ 数值稳定性自检与边界要点

  • decay 系数通常随训练步数动态爬升(如前期使用 0.9,逐步增加到 0.9999)
  • EMA 权重不参与梯度计算,绝不可构建计算图

💻 完整参考代码实现

import numpy as np

class ModelEMA:
    def __init__(self, model_params: list, decay: float = 0.999):
        self.decay = decay
        # 影子权重深拷贝初始化
        self.shadow_params = [p.copy() for p in model_params]
        
    def update(self, current_params: list):
        for s, c in zip(self.shadow_params, current_params):
            # s = decay * s + (1 - decay) * c
            s *= self.decay
            s += (1.0 - self.decay) * c

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
w = [np.array([10.0])]
ema = ModelEMA(w, decay=0.9)
# 更新当前权重变为 0.0
ema.update([np.array([0.0])])
# 影子权重应为 0.9 * 10 + 0.1 * 0 = 9.0
assert np.isclose(ema.shadow_params[0][0], 9.0)
print("✓ 权重 EMA 自测通过")

🎯 核心工程追问与标准应答

Q1:SWA(Stochastic Weight Averaging)与 EMA 有何异同?
EMA 是对每个时间步采用指数衰减连续加权;而 SWA 是在周期性或固定学习率阶段,每隔固定 Epoch(如每 5 个 Epoch)对离散的参数快照取简单的等权重算术平均,两者的本质目标一致,都是寻找平坦极小值以提升泛化能力。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: 梯度全局范数裁剪(clip_grad_norm_)返回 Part H 与全部 105 题下一题: PyTorch 混合精度训练循环骨架(AMP GradScaler) →