M3-001M3: 深度学习基础反向传播与自动微分Easy
⚡闪卡盲测➔掌握度:

解释计算图与自动微分的两种模式(前向/反向)

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M3-002 →
📐 核心数学机理公式
forward:Jv;reverse:v⊤J\text{forward}: Jv;\qquad \text{reverse}: v^\top J
⚡ 一句话直击要害答案
前向模式算 JVP(输入维大时贵);反向模式算 VJP(输出维小时优,如标量损失)。

📌 核心要点提炼

  • •
    深度学习用反向模式(损失是标量)
  • •
    反向复杂度与前向同阶

📐 数学机理与严密推导

计算图把复合函数表示为有向无环图(节点是运算、边是张量),自动微分(AD)在图上应用链式法则。前向模式(JVP) 从输入向输出传播:对每个节点同时传播函数值与方向导数,一次得到 Jv(雅可比×向量),代价 O(n)·cost(f)(n 为输入维);反向模式(VJP) 从输出向输入传播:一次得到 vᵀJ,代价 O(m)·cost(f)(m 为输出维)。选择原则是'哪一维小':深度学习中损失是标量(m=1),故反向模式一次前向+一次反向即得完整梯度,代价 O(1)·cost(f)——这是所有框架的默认。反之若需计算'每个输入对每个输出的影响'(n≪m,如敏感性分析),前向模式更优。与数值微分/符号微分的对比:数值微分(有限差分)需 O(n) 次前向且有截断误差;符号微分会表达式膨胀;AD 精确且高效。

🏭 深度剖析与工业落地权衡

工程要点:① 内存需求差异——反向模式需保存前向的中间激活(否则无法算局部雅可比),这是训练显存的主要占用;推理时只需前向故无此开销(可用 torch.no_grad() 禁用图的构建,节省内存与时间)。② JVP 与 VJP 的 API——JAX 提供 jvp/vjp 原语,PyTorch 用 torch.autograd.functional.jvp/vjp;框架的 jacobian 只是对它们做批处理。③ 高阶导——create_graph=True 使反向过程本身被记录进图,从而支持二阶导(如 Hessian-向量积 HVP);这是 WGAN-GP 的梯度惩罚、MAML 二阶梯度、以及可解释性方法(IG)的基础。④ checkpoint 与图的重建——梯度检查点在反向时重算前向(重建局部图),因此需要保留随机数状态(如 dropout mask)以保证重算结果一致。⑤ 图的优化——现代框架(torch.compile、JAX)会在图上做算子融合、内存复用、并行调度等优化,把'图的表达能力'转化为性能收益(这与编译器优化 IR 的思路一致)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为反向传播需要 O(n) 次前向(实为 O(1) 次反向)
  • ✕
    推理时不关闭梯度(浪费内存)
🎯 面试官连环追问与延伸考察
  • ?
    什么时候用前向模式?
  • ?
    为什么训练与推理的内存需求不同?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-119: 解释超参调优的自动化工具与实践流程📋 返回题库下一题 →M3-002: 反向传播需要保存哪些中间量?如何省显存