M3-002M3: 深度学习基础反向传播与自动微分Easy
⚡闪卡盲测➔掌握度:

反向传播需要保存哪些中间量?如何省显存

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-003 →
📐 核心数学机理公式
checkpoint: recompute activations in backward\text{checkpoint}:\ \text{recompute activations in backward}
⚡ 一句话直击要害答案
需保存激活值与局部梯度;可用梯度检查点、混合精度、分片(FSDP)降低显存。

📌 核心要点提炼

  • •
    检查点用计算换内存(约 √n 内存)
  • •
    FSDP/ZeRO 分片优化器状态与梯度

📐 数学机理与严密推导

保存内容:反向传播需要 (a) 前向的中间激活(用于计算局部雅可比,如 attention 的 softmax 输出、激活函数输出);(b) 局部导数所需的额外量(如 BatchNorm 的均值方差、dropout 的 mask);(c) 参数本身(若参数被覆盖则需保留副本)。显存分布(Adam + FP32 主权重 + FP16 计算,混合精度):参数 2B、梯度 2B、FP32 主权重 4B、Adam 的 m 与 v 各 4B → 优化器状态与主权重合计 16B/参数(远超参数本身);而激活与 batch×序列长度成正比(长序列时成为主要瓶颈)。四类省显存手段:① 梯度检查点——只保存少数'检查点'的激活,反向时重算中间激活,显存从 O(n) 降到 O(√n),代价约 30% 额外计算;② 混合精度——激活用 FP16/BF16(减半);③ 分片——FSDP/ZeRO 把优化器状态、梯度、参数分片到多卡;④ 激活卸载(offloading)——把激活换出到 CPU 内存(用 PCIe 带宽换显存)。

🏭 深度剖析与工业落地权衡

实践要点:① 检查点的时间-内存权衡——√n 的来源是'分块检查点':把 L 层分成 √L 块、每块存一个检查点,反向时逐块重算;时间代价约为 1 次额外前向(30% 左右)。② 哪些层值得检查——激活大的层(attention、大 FFN)收益最大;小层(LayerNorm)不值得。③ 与混合精度的叠加——两者独立可叠加;但注意 FP16 激活下重算需保持数值一致(框架自动处理)。④ 优化器状态的优化——8-bit Adam(bitsandbytes)把 m、v 量化为 8-bit,显存从 8B 降到 2B/参数;Adafactor 用分解近似二阶矩(只存行/列统计),显存从 O(n) 降到 O(√n)。⑤ 长序列的特殊问题——激活 ∝ batch×seq×hidden×layers,长上下文时激活常超过参数与优化器状态;此时应优先用检查点 + FlashAttention(不物化 L×L 矩阵)。⑥ 诊断——用 torch.cuda.max_memory_allocated() 与显存剖析工具确认瓶颈在激活还是优化器状态,再决定优化方向(这是省显存的第一步)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    盲目开检查点而不诊断瓶颈(可能优化错方向)
  • ✕
    忽略优化器状态占 16B/参数这一事实
🎯 面试官连环追问与延伸考察
  • ?
    检查点的时间代价?
  • ?
    为什么优化器状态占显存最多?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M3-001: 解释计算图与自动微分的两种模式(前向/反向)📋 返回题库下一题 →M3-003: 解释梯度累加(gradient accumulation),它等价于什么