A2Easy★ 核心必练 · 工业基石Part A · 基础算子与激活函数

Sigmoid 与 Log-Sigmoid(数值稳定)

⚡闪卡盲测➔

正负区间分段避免大负数指数溢出,Log-Sigmoid 采用 logaddexp 解决二元损失下溢。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def stable_sigmoid(z: np.ndarray) -> np.ndarray:
"""Piecewise evaluation to prevent overflow for large negative z."""
out = np.empty_like(z, dtype=np.float64)
pos_mask = z >= 0
out[pos_mask] =
exp_z = np.exp(z[~pos_mask])
out[~pos_mask] = exp_z / (1.0 + exp_z)
return out
def stable_log_sigmoid(z: np.ndarray) -> np.ndarray:
"""Stable log(sigmoid(z)) using logaddexp."""
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在二元交叉熵损失(BCEWithLogitsLoss)中通常将 Sigmoid 和 BCE 合并为一个算子?
下一题: GELU 激活函数(Tanh 近似与精确式) →
💡

实战一句话记忆口诀

正用原式负乘分子,log 用 logaddexp

📐 核心数学公式与机理推导

σ(z)=11+e−z,log⁡σ(z)=−log⁡(1+e−z)=−logaddexp(0,−z)\sigma(z) = \frac{1}{1 + e^{-z}}, \quad \log \sigma(z) = -\log(1 + e^{-z}) = -\mathrm{logaddexp}(0, -z)
### 数学机理与双向防御
当 z≪0z \ll 0 时,−z≫0-z \gg 0,e−ze^{-z} 会迅速引发指数上溢(Overflow)。
当 z<0z < 0 时,分子分母同乘 eze^z:
σ(z)=ez1+ez\sigma(z) = \frac{e^z}{1 + e^z}
此时因 z<0z < 0,ez∈(0,1)e^z \in (0, 1),上溢彻底消除。

对于 log⁡σ(z)\log \sigma(z),当 zz 极负时,直接计算 log⁡(σ(z))\log(\sigma(z)) 会因为 σ(z)\sigma(z) 下溢为 0 而得到 −∞-\infty。通过等价变换 −log⁡(1+e−z)=−logaddexp(0,−z)-\log(1 + e^{-z}) = -\mathrm{logaddexp}(0, -z),调用底层的 Log-Sum-Exp 保持数值鲁棒。

🔄 张量维度与形状流转说明

(...) -> pos/neg 掩码划分 -> 分段 exp 计算 -> 合并输出 (...)

🛡️ 数值稳定性自检与边界要点

  • 切忌直接返回 1.0 / (1.0 + np.exp(-z)),在 z < -709 时直接报溢出警告或返回 0
  • Log-Sigmoid 切忌写成 np.log(sigmoid(z)),必须使用 np.logaddexp
  • 梯度导数计算:d_sigmoid = s * (1.0 - s)

💻 完整参考代码实现

import numpy as np

def stable_sigmoid(z: np.ndarray) -> np.ndarray:
    """Piecewise evaluation to prevent overflow for large negative z."""
    out = np.empty_like(z, dtype=np.float64)
    pos_mask = z >= 0
    out[pos_mask] = 1.0 / (1.0 + np.exp(-z[pos_mask]))
    exp_z = np.exp(z[~pos_mask])
    out[~pos_mask] = exp_z / (1.0 + exp_z)
    return out

def stable_log_sigmoid(z: np.ndarray) -> np.ndarray:
    """Stable log(sigmoid(z)) using logaddexp."""
    return -np.logaddexp(0.0, -z)

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
z = np.array([-1000.0, 0.0, 1000.0])
s = stable_sigmoid(z)
assert s[0] == 0.0 and s[1] == 0.5 and s[2] == 1.0
assert not np.isnan(s).any()
ls = stable_log_sigmoid(z)
assert not np.isneginf(ls[0]), "Extreme negatives should not return -inf"
assert np.isclose(ls[0], -1000.0), f"Actual: {ls[0]}"
print("✓ Sigmoid assertion passed")

🎯 核心工程追问与标准应答

Q1:为什么在二元交叉熵损失(BCEWithLogitsLoss)中通常将 Sigmoid 和 BCE 合并为一个算子?
合并后损失函数为 max⁡(x,0)−x⋅y+log⁡(1+e−∣x∣)\max(x, 0) - x \cdot y + \log(1 + e^{-|x|}),省去了一次独立的显存读取,消除了 Sigmoid 极值导致的梯度饱和与 log(0) 崩溃。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Softmax(数值稳定)返回 Part A 与全部 105 题下一题: GELU 激活函数(Tanh 近似与精确式) →