A1Easy★ 核心必练 · 工业基石Part A · 基础算子与激活函数

Softmax(数值稳定)

⚡闪卡盲测➔

减去沿维度的最大值防止指数上溢,保持指定维度归一化的数值稳定实现。

⏱️ 时间复杂度: O(N * C)
💾 空间复杂度: O(N * C)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def softmax(x: np.ndarray, axis: int = -1) -> np.ndarray:
"""
Numerically stable Softmax implementation.
Subtracts the maximum value along the target axis before exponentiation to prevent overflow.
"""
x_max =
exp_shifted = np.exp(x - x_max)
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 当所有输入值都是绝对值很大的负数时(如 [-10000, -10000] vs [-10000, -11000]),会有什么数值行为?
Q2: LogSoftmax 相比 log(softmax(x)) 为什么更稳定?
下一题: Sigmoid 与 Log-Sigmoid(数值稳定) →
💡

实战一句话记忆口诀

减 max 避正溢,keepdims 保广播,分母有 1 不除零

📐 核心数学公式与机理推导

softmax(x)i=exi−max⁡jxj∑kexk−max⁡jxj\mathrm{softmax}(x)_i = \frac{e^{x_i - \max_j x_j}}{\sum_{k} e^{x_k - \max_j x_j}}
### 数学原理与推导
Softmax 将实数向量 x∈RCx \in \mathbb{R}^C 映射为合法概率分布。直接计算 exie^{x_i} 当 xi>709x_i > 709(FP64)或 xi>88x_i > 88(FP32)时会发生浮点上溢(Overflow)导致 NaN 或 inf。

利用平移不变性恒等式:
exi∑kexk=exi−c∑kexk−c\frac{e^{x_i}}{\sum_k e^{x_k}} = \frac{e^{x_i - c}}{\sum_k e^{x_k - c}}
令 c=max⁡jxjc = \max_j x_j,则所有分子指数项 xi−c≤0x_i - c \le 0,指数结果必定落在 [0,1][0, 1] 之间,彻底消除上溢隐患。分母至少有一项为 e0=1e^0 = 1,保证分母绝不为 0。

🔄 张量维度与形状流转说明

(B, S, C) -> np.max(keepdims=True) -> (B, S, 1) -> 广播减法 -> (B, S, C) -> exp -> (B, S, C) -> sum -> (B, S, 1) -> 广播除法 -> (B, S, C)

🛡️ 数值稳定性自检与边界要点

  • 必须先减沿维度的最大值 max(x, keepdims=True),绝不能直接计算 np.exp(x)
  • sum 与 max 必须保留 keepdims=True,否则在多维批次 (B, S, C) 上无法正确广播
  • 反向传播时,直接使用 dlogits = probs - labels 闭式解,避免链式求导下溢

💻 完整参考代码实现

import numpy as np

def softmax(x: np.ndarray, axis: int = -1) -> np.ndarray:
    """
    Numerically stable Softmax implementation.
    Subtracts the maximum value along the target axis before exponentiation to prevent overflow.
    """
    x_max = np.max(x, axis=axis, keepdims=True)
    exp_shifted = np.exp(x - x_max)
    return exp_shifted / np.sum(exp_shifted, axis=axis, keepdims=True)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
x = np.array([[1000.0, 1001.0, 1002.0], [-1000.0, -1001.0, -1002.0]])
probs = softmax(x, axis=-1)
assert not np.isnan(probs).any(), "Contains NaN!"
assert np.allclose(probs.sum(axis=-1), [1.0, 1.0]), "Probabilities must sum to 1"
assert np.isclose(probs[0, 2], 0.66524096), "Numerical error exceeds tolerance"
print("✓ Softmax assertion passed")

🎯 核心工程追问与标准应答

Q1:当所有输入值都是绝对值很大的负数时(如 [-10000, -10000] vs [-10000, -11000]),会有什么数值行为?
关键在于元素间的相对差值 max⁡x−xi\max x - x_i,而不是负数本身的绝对大小:若输入为 [−10000,−10000][-10000, -10000],减去最大值后变为 [0,0][0, 0],输出为均匀分布 [0.5,0.5][0.5, 0.5],并不会退化;只有当最大项与其余项差值超过指数下溢阈值(FP64 约 745745、FP32 约 104104,如 [−10000,−11000][-10000, -11000])时,较小项才会下溢为 0。由于最大项恒有 e0=1e^0 = 1,分母始终至少为 1,不会像未平移的 exp(x) 那样出现 0/0=NaN0/0 = \mathrm{NaN}。
Q2:LogSoftmax 相比 log(softmax(x)) 为什么更稳定?
若先算 softmax 得到极小的概率(如 1e-45 下溢为 0),再取 log 会得到 -inf。LogSoftmax 展开为 xi−logsumexp(x)x_i - \mathrm{logsumexp}(x),避免了中间小概率下溢问题。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
返回 Part A 与全部 105 题下一题: Sigmoid 与 Log-Sigmoid(数值稳定) →