A2Easy★ 核心必练 · 工业基石Part A · 基础算子与激活函数
Sigmoid 与 Log-Sigmoid(数值稳定)
正负区间分段避免大负数指数溢出,Log-Sigmoid 采用 logaddexp 解决二元损失下溢。
⏱️ 时间复杂度:
O(N)💾 空间复杂度:
O(N)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def stable_sigmoid(z: np.ndarray) -> np.ndarray:
"""Piecewise evaluation to prevent overflow for large negative z."""
out = np.empty_like(z, dtype=np.float64)
pos_mask = z >= 0
out[pos_mask] =
exp_z = np.exp(z[~pos_mask])
out[~pos_mask] = exp_z / (1.0 + exp_z)
return out
def stable_log_sigmoid(z: np.ndarray) -> np.ndarray:
"""Stable log(sigmoid(z)) using logaddexp."""
return
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 为什么在二元交叉熵损失(BCEWithLogitsLoss)中通常将 Sigmoid 和 BCE 合并为一个算子?
💡
实战一句话记忆口诀
正用原式负乘分子,log 用 logaddexp
📐 核心数学公式与机理推导
### 数学机理与双向防御
当 时,, 会迅速引发指数上溢(Overflow)。
当 时,分子分母同乘 :
此时因 ,,上溢彻底消除。
对于 ,当 极负时,直接计算 会因为 下溢为 0 而得到 。通过等价变换 ,调用底层的 Log-Sum-Exp 保持数值鲁棒。
当 时,, 会迅速引发指数上溢(Overflow)。
当 时,分子分母同乘 :
此时因 ,,上溢彻底消除。
对于 ,当 极负时,直接计算 会因为 下溢为 0 而得到 。通过等价变换 ,调用底层的 Log-Sum-Exp 保持数值鲁棒。
🔄 张量维度与形状流转说明
(...) -> pos/neg 掩码划分 -> 分段 exp 计算 -> 合并输出 (...)
🛡️ 数值稳定性自检与边界要点
- 切忌直接返回 1.0 / (1.0 + np.exp(-z)),在 z < -709 时直接报溢出警告或返回 0
- Log-Sigmoid 切忌写成 np.log(sigmoid(z)),必须使用 np.logaddexp
- 梯度导数计算:d_sigmoid = s * (1.0 - s)
💻 完整参考代码实现
import numpy as np
def stable_sigmoid(z: np.ndarray) -> np.ndarray:
"""Piecewise evaluation to prevent overflow for large negative z."""
out = np.empty_like(z, dtype=np.float64)
pos_mask = z >= 0
out[pos_mask] = 1.0 / (1.0 + np.exp(-z[pos_mask]))
exp_z = np.exp(z[~pos_mask])
out[~pos_mask] = exp_z / (1.0 + exp_z)
return out
def stable_log_sigmoid(z: np.ndarray) -> np.ndarray:
"""Stable log(sigmoid(z)) using logaddexp."""
return -np.logaddexp(0.0, -z)
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
z = np.array([-1000.0, 0.0, 1000.0])
s = stable_sigmoid(z)
assert s[0] == 0.0 and s[1] == 0.5 and s[2] == 1.0
assert not np.isnan(s).any()
ls = stable_log_sigmoid(z)
assert not np.isneginf(ls[0]), "Extreme negatives should not return -inf"
assert np.isclose(ls[0], -1000.0), f"Actual: {ls[0]}"
print("✓ Sigmoid assertion passed")🎯 核心工程追问与标准应答
Q1:为什么在二元交叉熵损失(BCEWithLogitsLoss)中通常将 Sigmoid 和 BCE 合并为一个算子?
合并后损失函数为 ,省去了一次独立的显存读取,消除了 Sigmoid 极值导致的梯度饱和与 log(0) 崩溃。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!