E2Easy★ 工业基石 (核心高频)Part E · 损失函数大全

BCE with Logits Loss(二元交叉熵数值稳定)

⚡闪卡盲测➔

融合 Sigmoid 与 Log 损失,通过 max(x, 0) - x*y + log1p(exp(-|x|)) 消除上下溢溢出风险。

⏱️ 时间复杂度: O(N) 逐元素计算
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def bce_with_logits_loss(logits: np.ndarray, targets: np.ndarray, reduction: str = "mean") -> float:
"""
参数:
logits: 实数预测,形状任意,如 (N,)
targets: 真实标签 0.0 或 1.0,形状与 logits 严格一致
"""
# 核心公式: max(x, 0) - x * y + log1p(exp(-abs(x)))
max_part =
neg_abs = -np.abs(logits)
loss = max_part - logits * targets + np.log1p(np.exp(neg_abs))
if reduction == "mean":
return float(np.mean(loss))
elif reduction == "sum":
return
return loss
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 如果正负样本比例严重失衡(如正样本仅占 1%),如何对 BCEWithLogitsLoss 添加 pos_weight 权重?
下一题: Focal Loss(类别不平衡聚焦因子) →
💡

实战一句话记忆口诀

正取最大负取积,负绝对值加 log1p,无求导无溢出

📐 核心数学公式与机理推导

L=max⁡(x,0)−x⋅y+log⁡(1+e−∣x∣)\mathcal{L} = \max(x, 0) - x \cdot y + \log(1 + e^{-|x|})
### 数值稳定闭式推导
标准 BCE 定义为:
L=−ylog⁡σ(x)−(1−y)log⁡(1−σ(x))\mathcal{L} = -y \log \sigma(x) - (1 - y) \log(1 - \sigma(x))
将 σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}} 和 1−σ(x)=e−x1+e−x=11+ex1 - \sigma(x) = \frac{e^{-x}}{1 + e^{-x}} = \frac{1}{1 + e^x} 代入化简:
L=−ylog⁡11+e−x−(1−y)log⁡e−x1+e−x=ylog⁡(1+e−x)+(1−y)(x+log⁡(1+e−x))\mathcal{L} = -y \log \frac{1}{1 + e^{-x}} - (1 - y) \log \frac{e^{-x}}{1 + e^{-x}} = y \log(1 + e^{-x}) + (1 - y)(x + \log(1 + e^{-x}))
=(1−y)x+log⁡(1+e−x)=x−xy+log⁡(1+e−x)= (1 - y)x + \log(1 + e^{-x}) = x - x y + \log(1 + e^{-x})
当 x≥0x \ge 0 时,直接计算 log⁡(1+e−x)\log(1 + e^{-x}),此时 −x≤0-x \le 0,指数安全;
当 x<0x < 0 时,log⁡(1+e−x)=−x+log⁡(1+ex)\log(1 + e^{-x}) = -x + \log(1 + e^x),代入得 −xy+log⁡(1+ex)-x y + \log(1 + e^x)。
将两者合并为统一的紧凑数值安全公式:
L=max⁡(x,0)−x⋅y+log⁡(1+e−∣x∣)\mathcal{L} = \max(x, 0) - x \cdot y + \log(1 + e^{-|x|})
其中 −∣x∣≤0-|x| \le 0,其指数项 e−∣x∣∈(0,1]e^{-|x|} \in (0, 1],避免了正指数浮点上溢。

🔄 张量维度与形状流转说明

logits, targets: (...) -> max(x, 0) - x*y + log1p(exp(-abs(x))) -> loss: (...) -> mean -> 标量

🛡️ 数值稳定性自检与边界要点

  • 必须使用 np.log1p(np.exp(-np.abs(x))),借助 log1p 保持对小数值的高精度保留
  • 使用绝对值 -abs(x) 确保指数输入永不大于 0
  • 反向传播梯度形式极简:dlogits = sigmoid(x) - y

💻 完整参考代码实现

import numpy as np

def bce_with_logits_loss(logits: np.ndarray, targets: np.ndarray, reduction: str = "mean") -> float:
    """
    参数:
        logits: 实数预测,形状任意,如 (N,)
        targets: 真实标签 0.0 或 1.0,形状与 logits 严格一致
    """
    # 核心公式: max(x, 0) - x * y + log1p(exp(-abs(x)))
    max_part = np.maximum(logits, 0.0)
    neg_abs = -np.abs(logits)
    loss = max_part - logits * targets + np.log1p(np.exp(neg_abs))
    
    if reduction == "mean":
        return float(np.mean(loss))
    elif reduction == "sum":
        return float(np.sum(loss))
    return loss

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
logits = np.array([-1000.0, 0.0, 1000.0])
targets = np.array([0.0, 1.0, 1.0])
loss = bce_with_logits_loss(logits, targets)
assert not np.isnan(loss) and not np.isinf(loss)
# logits=-1000, target=0 时预测极准,loss 应趋近于 0
assert np.isclose(bce_with_logits_loss(np.array([-1000.0]), np.array([0.0])), 0.0)
print("✓ BCE with Logits 数值稳定自测通过")

🎯 核心工程追问与标准应答

Q1:如果正负样本比例严重失衡(如正样本仅占 1%),如何对 BCEWithLogitsLoss 添加 pos_weight 权重?
通过在正样本项前添加惩罚因子 ww:L=(1−y)x+(1+(w−1)y)log⁡(1+e−x)\mathcal{L} = (1 - y)x + (1 + (w - 1)y) \log(1 + e^{-x})。当 y=1y=1 时损失被放大 ww 倍,使得少数类正样本产生足够的梯度更新反传。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: Cross-Entropy 交叉熵(Log-Softmax 稳定 + ignore_index)返回 Part E 与全部 105 题下一题: Focal Loss(类别不平衡聚焦因子) →