M3-074M3: 深度学习基础训练稳定性与混合精度Hard
⚡闪卡盲测➔掌握度:
哪些算子/操作在低精度下最容易出问题?
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
含 exp/log/除法的算子(softmax、LN、CE)、累加归约(attention、matmul)、以及需精确表示小增量的权重更新。
📌 核心要点提炼
- •softmax/log-sum-exp:exp 上溢、减 max 必须做
- •LayerNorm/BN:方差计算与除法、ε 需调大
- •损失函数:log(0) 下溢
- •权重更新:FP16 下 η·g 被 θ 吞掉(需 FP32 master)
📐 数学机理与严密推导
数学机理:低精度风险来自'范围'与'精度'两类。(1) 范围风险(上溢/下溢)——含 exp 的算子:softmax、GELU、sigmoid;FP16 下 exp(x) 在 x>11 时即超 65504 上溢。含 log 的算子:CE、KL、log-softmax;log(0) 得 −∞。含除法的算子:LN/BN(除方差)、attention 归一化;分母为 0 或极小则爆炸。(2) 精度风险(累加误差)——归约运算(sum/mean)在 FP16 下逐元素累加会累积舍入误差:累加 n 个数的误差约 O(n·u)(u 为机器精度);attention 的 log-sum-exp 要对序列长度 L 个元素求和、LN 要对 d 个元素求和,L/d 大时误差显著。故实践中这些归约用 FP32 累加('accumulate in FP32')。(3) 表示风险——权重更新 θ←θ+ηΔθ:若 ηΔθ 相对于 θ 极小(如 η=1e-5、θ≈0.1、Δθ≈1),则 ηΔθ≈1e-6,而 FP16 在 0.1 附近的分辨率约 6e-5——更新量被舍入掉、参数根本不动;故必须用 FP32 master weights 做更新。这三类风险对应三条对策:减 max / 加 eps / FP32 累加 + FP32 master。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① autocast 的白名单——PyTorch 的 autocast 会自动把 matmul/conv 等'安全'算子转 FP16(吞吐收益大),而把 softmax、LN、loss、归约等'敏感'算子保持 FP32(autocast 内置白/黑名单);理解这一点比手工管理 dtype 更可靠。② Flash Attention 的贡献——它在 kernel 内部用 FP32 做在线 softmax(维护 running max 与 running sum),既保证数值稳定又避免物化 L×L 的注意力矩阵;这是'数值稳定 + 高效'结合的典范。③ LayerNorm 的 ε——低精度下方差可能因舍入略小于真实值,ε 太小则除法放大误差;故 LN 的 ε 常取 1e-5~1e-6,且计算在 FP32 下进行。④ matmul 的累加——张量核心的 FP16 matmul 在内部用 FP32 累加(这是硬件特性),故 matmul 本身相对安全;风险主要在非 matmul 的逐元素归约。⑤ 量化推理的对应问题——INT8 推理时,激活的离群值导致 per-tensor 量化误差大,故用 per-channel/per-token 量化(同'范围'问题的另一种解法)。⑥ 面试要点——被问'低精度训练要注意什么',应能按'exp/log/除法(范围)+ 归约累加(精度)+ 权重更新(表示)'三类回答,并提到 autocast 白名单与 FP32 master weights 两个具体机制;这体现'从原理到工程'的完整链条。
⚠️ 常见面试陷阱与高频失分点
- ✕对所有算子一刀切用 FP16(敏感算子失稳)
- ✕LN 的 ε 设得过小(低精度下除法放大误差)
🎯 面试官连环追问与延伸考察
- ?为什么 attention 的累加在 FP16 下会累积误差?
- ?如何用 autocast 选择性保持 FP32?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!