M3-050M3: 深度学习基础正则化与训练技巧Medium
⚡闪卡盲测➔掌握度:

解释 EMA(指数移动平均)在训练中的作用

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-051 →
📐 核心数学机理公式
θtEMA=βθt−1EMA+(1−β)θt,β≈0.999\theta^{\text{EMA}}_t=\beta\theta^{\text{EMA}}_{t-1}+(1-\beta)\theta_t,\quad \beta\approx0.999
⚡ 一句话直击要害答案
对参数做 EWMA 得到平滑权重,推理用 EMA 权重;降低参数噪声、提升泛化与稳定性,近似模型集成。

📌 核心要点提炼

  • •
    EMA 权重通常比最终权重泛化更好
  • •
    等价于对近期参数做加权平均(近似集成)
  • •
    训练与推理需分别维护权重;BN/LN 统计需同步更新

📐 数学机理与严密推导

数学机理:EMA 维护一份'影子权重' θ^EMA,每步按 θ^EMA←βθ^EMA+(1−β)θ 更新,β 常取 0.999(有效窗口约 1000 步)。两条解释:(1) 方差降低——SGD 的参数轨迹在极小值附近随机游走(梯度噪声驱动),单个时刻的 θ_t 含噪声;EMA 相当于对轨迹做低通滤波,得到'中心'位置,方差更小。(2) 近似集成——可证明 EMA 权重对应某种参数分布下的期望,近似于对轨迹上多个模型的集成平均,故泛化更好(集成降低方差)。为什么在训练早期滞后:EMA 从 θ_0 出发,若 β=0.999 则需约 1000 步才能'追上'快速移动的参数;故早期 EMA 权重与真实权重差异大、不可用。对策:训练前期不启用 EMA(或 warmup EMA 的 β,如从 0.9 逐步升到 0.999),这也是'EMA decay warmup'的由来。注意 EMA 只平滑参数,BN 的 running statistics 需单独更新(否则 EMA 权重与统计不匹配,推理出错)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① EMA 在扩散模型中的地位——DDPM/Stable Diffusion 训练必须用 EMA,因为采样质量对权重噪声极敏感;且 EMA 权重(而非原始权重)才是发布模型的默认选择。② EMA 在 LLM 中的使用——LLM 预训练较少用 EMA(成本高:需额外一份完整参数副本,且收益在超大规模下变小);但在扩散/视觉/小模型中广泛使用。③ 与 SWA 的对比——SWA(Stochastic Weight Averaging)用等权平均轨迹上的多个点(周期性采样),EMA 用指数加权(近期权重大);SWA 需要特定的 lr 调度(周期性高 lr)来保证采样点分散,EMA 更通用。两者都'趋向平坦解'。④ 显存与工程成本——EMA 需额外存一份参数(7B 模型即 28 GB FP32 / 14 GB BF16);故大模型常在最后阶段才启用,或用 CPU offload。⑤ 与量化的交互——EMA 权重的分布更集中(噪声小),通常比原始权重更易量化,故量化前用 EMA 权重可提升精度。⑥ 面试要点——若被问'EMA 为什么能提升泛化',答'降低参数噪声 + 近似集成';并主动提到'BN 统计需同步'与'早期滞后需 warmup'这两个实践要点,展示细节掌握。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只用 EMA 参数却忘记同步 BN running stats(推理出错)
  • ✕
    训练一开始就启用高 β 的 EMA(早期权重不可用)
🎯 面试官连环追问与延伸考察
  • ?
    EMA 与 SWA 的区别?
  • ?
    为什么 EMA 权重在训练早期'滞后'严重?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-049: 什么是 Mixup 与 CutMix?为什么它们有效📋 返回题库下一题 →M3-051: 什么是参数平均(SWA)与模型融合?