H1Hard★ 工业基石 (核心高频)Part H · 优化器与训练系统

Adam 与 AdamW 优化器(解耦权重衰减)

⚡闪卡盲测➔

现代深度学习优化器之王,一阶动量二阶方差偏差校正,AdamW 正确解耦 L2 权重衰减。

⏱️ 时间复杂度: O(P) 每个参数常数次更新
💾 空间复杂度: 显存占用为参数量的 2 倍(需持久保存 m 和 v 状态)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
class AdamW:
def __init__(self, params: list, lr: float = 1e-3, betas: tuple = (0.9, 0.999), eps: float = 1e-8, weight_decay: float = 0.01):
self.params = params
self.lr = lr
self.beta1, self.beta2 = betas
self.eps = eps
self.weight_decay = weight_decay
self.t = 0
# 初始化动量与方差缓存
self.m = [np.zeros_like(p) for p in params]
self.v = [np.zeros_like(p) for p in params]
def step(self, grads: list):
self.t += 1
for i, (p, g) in enumerate(zip(self.params, grads)):
# 1. AdamW 解耦权重衰减: 独立直接衰减当前参数
if self.weight_decay != 0.0:
p -= self.lr * self.weight_decay * p
# 2. 一阶与二阶矩更新
self.m[i] =
self.v[i] = self.beta2 * self.v[i] + (1.0 - self.beta2) * (g ** 2)
# 3. 偏差校正 (Bias correction)
m_hat = self.m[i] / (1.0 - self.beta1 ** self.t)
v_hat =
# 4. 参数步进更新
p -= self.lr * m_hat / (np.sqrt(v_hat) + self.eps)
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: ZeRO 技术(Zero Redundancy Optimizer)是如何对 Adam 的状态显存进行切分的?
下一题: 学习率调度:Linear Warmup + Cosine Annealing →
💡

实战一句话记忆口诀

一阶看方向,二阶测震荡,偏差校正除幂次,解耦衰减独立扣

📐 核心数学公式与机理推导

mt=β1mt−1+(1−β1)gt,vt=β2vt−1+(1−β2)gt2,θt=θt−1−ηλθt−1−ηv^t+ϵm^tm_t = \beta_1 m_{t-1} + (1-\beta_1) g_t, \quad v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2, \quad \theta_t = \theta_{t-1} - \eta \lambda \theta_{t-1} - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t
### Adam 偏差校正与 AdamW 的解耦革新
1. Adam 核心机制:
- 一阶动量 mtm_t(梯度的指数移动平均,带方向惯性):E[mt]=E[gt](1−β1t)\mathbb{E}[m_t] = \mathbb{E}[g_t] (1 - \beta_1^t);
- 二阶动量 vtv_t(未中心化梯度的平方均值,衡量每个维度的波动剧烈度);
- 偏差校正(Bias Correction):在训练初期(tt 较小,如 t=1t=1),mtm_t 和 vtv_t 初始化为 0 会严重偏向零点。除以 1−β1t1 - \beta_1^t 和 1−β2t1 - \beta_2^t 修正初期估计误差。
2. 为什么 AdamW 彻底打败了 Adam(L2 正则化 vs 解耦权重衰减):
- 经典 Adam 将 L2 正则化直接加在梯度上:gt←gt+λθg_t \leftarrow g_t + \lambda \theta。这样导致正则项也被除以了 vt\sqrt{v_t},历史梯度大的参数权重衰减被压制,历史梯度小的参数反而衰减剧烈;
- Loshchilov & Hutter 提出的 AdamW:将权重衰减与自适应梯度更新彻底解耦,在梯度更新前直接独立扣减 ηλθ\eta \lambda \theta,恢复了标准的指数衰减效应。

🔄 张量维度与形状流转说明

g -> m, v 动量更新 -> m_hat, v_hat 偏差校正 -> p -= lr*wd*p -> p -= lr * m_hat / (sqrt(v_hat)+eps)

🛡️ 数值稳定性自检与边界要点

  • eps 必须加在根号外 np.sqrt(v_hat) + eps,若写在根号内数值稳定性略差
  • beta1 通常 0.9,beta2 通常 0.999(在大模型训练中推荐 beta2=0.95 防止二阶矩波动过大)
  • LayerNorm 的 gamma/beta 以及偏置参数 Bias 通常不施加 weight_decay

💻 完整参考代码实现

import numpy as np

class AdamW:
    def __init__(self, params: list, lr: float = 1e-3, betas: tuple = (0.9, 0.999), eps: float = 1e-8, weight_decay: float = 0.01):
        self.params = params
        self.lr = lr
        self.beta1, self.beta2 = betas
        self.eps = eps
        self.weight_decay = weight_decay
        self.t = 0
        
        # 初始化动量与方差缓存
        self.m = [np.zeros_like(p) for p in params]
        self.v = [np.zeros_like(p) for p in params]
        
    def step(self, grads: list):
        self.t += 1
        for i, (p, g) in enumerate(zip(self.params, grads)):
            # 1. AdamW 解耦权重衰减: 独立直接衰减当前参数
            if self.weight_decay != 0.0:
                p -= self.lr * self.weight_decay * p
                
            # 2. 一阶与二阶矩更新
            self.m[i] = self.beta1 * self.m[i] + (1.0 - self.beta1) * g
            self.v[i] = self.beta2 * self.v[i] + (1.0 - self.beta2) * (g ** 2)
            
            # 3. 偏差校正 (Bias correction)
            m_hat = self.m[i] / (1.0 - self.beta1 ** self.t)
            v_hat = self.v[i] / (1.0 - self.beta2 ** self.t)
            
            # 4. 参数步进更新
            p -= self.lr * m_hat / (np.sqrt(v_hat) + self.eps)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
w = np.array([5.0])
opt = AdamW([w], lr=0.1, weight_decay=0.01)
# 模拟恒定正梯度 1.0
opt.step([np.array([1.0])])
# 第一步 w 应该减小
assert w[0] < 5.0
print("✓ AdamW 优化器自测通过")

🎯 核心工程追问与标准应答

Q1:ZeRO 技术(Zero Redundancy Optimizer)是如何对 Adam 的状态显存进行切分的?
对于一个 Φ\Phi 参数的模型,Adam 的 mm 和 vv 状态需要 8Φ8\Phi 字节显存(FP32)。ZeRO-1 将优化器状态在各个数据并行卡之间均匀切分(每张卡只维护 1/N1/N 的 mm 和 vv),在不增加通信量的前提下使优化器显存开销直接降低为 1/N1/N。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: ViT Patch Embedding(图片切片投影与序列化)返回 Part H 与全部 105 题下一题: 学习率调度:Linear Warmup + Cosine Annealing →