M1-031M1: 数学与统计基础数值稳定性Easy
⚡闪卡盲测➔掌握度:

为什么 softmax 必须先减最大值?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-032 →
📐 核心数学机理公式
softmax(x)i=exi−max⁡jxj∑kexk−max⁡jxj\mathrm{softmax}(x)_i=\frac{e^{x_i-\max_j x_j}}{\sum_k e^{x_k-\max_j x_j}}
⚡ 一句话直击要害答案
exp 对大正数溢出为 inf;减去最大值后指数最大为 0,结果不变但数值安全。

📌 核心要点提炼

  • •
    数学上等价,数值上必需
  • •
    同理 log-sum-exp 用于交叉熵

📐 数学机理与严密推导

数学等价性来自 softmax 的平移不变性:softmax(x+c)=softmax(x),因为分子分母同乘 e^c 后约掉。因此减 max 不改变输出,只改变中间计算的数值范围。未减 max 时,若 x 中有元素 ≥ 89(FP32 下 exp(88.7)≈3.4×10³⁸ 接近 float32 上限 3.4×10³⁸),e^{xᵢ} 直接溢出为 inf,随后 inf/inf=NaN,梯度传播中断;在 FP16 下阈值更低(exp(11.1)≈65504 即 FP16 上限),所以混合精度训练中这个问题更频繁。减去 max 后,最大的指数为 e⁰=1,其余 ≤1,求和结果落在 [1, n] 区间,完全安全。

🏭 深度剖析与工业落地权衡

两个进阶要点:① 减 max 不是唯一选择——减任何常数都数学等价,减 max 只是保证不溢出;某些实现减 max 是为了配合'在线 softmax'(FlashAttention)的分块计算,此时维护一个运行最大值 m 并随时修正历史累加和 l。② log 域的配套——计算 log(softmax(x)) 时应直接用 x - logsumexp(x),而非 log(softmax(x))(后者在概率极小时 log(0)=−inf)。框架提供的 log_softmax、cross_entropy、bce_with_logits 都内置了这些技巧,这也是为什么绝不应该先 sigmoid/softmax 再取 log。③ FP16 下还需注意:减 max 后的和可能仍很小(如全部为 −100 时 e^{−100}≈3.7×10⁻⁴⁴ 在 FP16 下下溢为 0),此时应全程在 FP32 累加。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    先 softmax 再取 log(数值灾难)
  • ✕
    在 FP16 下用 FP16 累加 softmax 分母
🎯 面试官连环追问与延伸考察
  • ?
    log-sum-exp 技巧的写法?
  • ?
    FP16 下还有哪些常见溢出点?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-030: 解释次梯度与近端算子(proximal operator),以及它们在 L1 优化中的应用。📋 返回题库下一题 →M1-032: 写出 log-sum-exp 技巧,并说明它解决了什么问题。