E3Medium★ 工业基石 (核心高频)Part E · 损失函数大全

Focal Loss(类别不平衡聚焦因子)

⚡闪卡盲测➔

何恺明团队解决单阶段检测器正负样本极度失衡的杰作,通过调制因子 (1-pt)^gamma 抑制海量简单负样本。

⏱️ 时间复杂度: O(N)
💾 空间复杂度: O(N)
🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def focal_loss_binary(
logits: np.ndarray, # 未激活的 logit 预测
targets: np.ndarray, # 0 或 1
alpha: float = 0.25,
gamma: float = 2.0,
reduction: str = "mean"
) -> float:
# 1. 稳定计算 sigmoid 概率
probs =
# 2. 计算对应目标类别的概率 pt 与类别权重 alpha_t
pt = np.where(targets == 1, probs, 1.0 - probs)
alpha_t = np.where(targets == 1, alpha, 1.0 - alpha)
# 3. 聚焦因子 (1 - pt)^gamma
focal_weight = alpha_t * ((1.0 - pt) ** gamma)
# 4. 交叉熵核心 (添加 1e-12 避免 log(0))
ce_loss = -np.log(np.clip(pt, 1e-12, 1.0))
loss = focal_weight * ce_loss
if reduction == "mean":
return
return loss
Step 3 · 反例与边界断言核对
Step 4 · 面试追问盲答与错题记录
Q1: 当 gamma = 0 时,Focal Loss 会发生什么变化?
下一题: InfoNCE 对比学习损失(Batch 内样本对与温度缩放) →
💡

实战一句话记忆口诀

一减 pt 算次方,简单样本削万倍,聚焦难例挑大梁

📐 核心数学公式与机理推导

FL(pt)=−αt(1−pt)γlog⁡(pt)\mathrm{FL}(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t)
### 简单样本抑制机制与动态权重
在密集目标检测(如 RetinaNet)中,前景(目标物体)与背景候选框比例可达 1:1000。海量容易分类的背景负样本(pt≥0.9p_t \ge 0.9)虽然单个损失很小,但累计总和完全淹没了稀有的正样本梯度。
Focal Loss 引入动态聚焦因子 (1−pt)γ(1 - p_t)^\gamma(通常 γ=2.0\gamma = 2.0):
- 简单样本:pt=0.99p_t = 0.99 时,(1−0.99)2=0.0001(1 - 0.99)^2 = 0.0001,其损失被压制缩小 10,000 倍!
- 困难样本:pt=0.2p_t = 0.2 时,(1−0.2)2=0.64(1 - 0.2)^2 = 0.64,损失权重几乎不受影响;
同时引入类别平衡参数 αt∈[0,1]\alpha_t \in [0, 1](通常正样本配 0.25,负样本配 0.75),完美实现困难样本自适应挖掘。

🔄 张量维度与形状流转说明

logits, targets -> probs -> pt -> (1 - pt)^gamma 调制因子 -> 乘以 CE -> 输出加权标量

🛡️ 数值稳定性自检与边界要点

  • 对 log(pt) 必须添加 1e-12 的截断保护,防止数值崩溃
  • 在模型初始化时,应将最后一层分类器的 Bias 初始化为 b=−log⁡((1−π)/π)b = -\log((1 - \pi) / \pi)(例如 π=0.01\pi=0.01 时 b≈−4.6b \approx -4.6),使网络初始输出正类概率趋近于 0.01,防止训练首步被海量背景产生巨大震荡

💻 完整参考代码实现

import numpy as np

def focal_loss_binary(
    logits: np.ndarray,      # 未激活的 logit 预测
    targets: np.ndarray,     # 0 或 1
    alpha: float = 0.25,
    gamma: float = 2.0,
    reduction: str = "mean"
) -> float:
    # 1. 稳定计算 sigmoid 概率
    probs = 1.0 / (1.0 + np.exp(-np.clip(logits, -88.0, 88.0)))
    
    # 2. 计算对应目标类别的概率 pt 与类别权重 alpha_t
    pt = np.where(targets == 1, probs, 1.0 - probs)
    alpha_t = np.where(targets == 1, alpha, 1.0 - alpha)
    
    # 3. 聚焦因子 (1 - pt)^gamma
    focal_weight = alpha_t * ((1.0 - pt) ** gamma)
    
    # 4. 交叉熵核心 (添加 1e-12 避免 log(0))
    ce_loss = -np.log(np.clip(pt, 1e-12, 1.0))
    loss = focal_weight * ce_loss
    
    if reduction == "mean":
        return float(np.mean(loss))
    return loss

🧪 本地测试与正确性断言

可直接复制到本地 Python / Jupyter 验证:

import numpy as np
logits = np.array([5.0, 0.0, -5.0])
targets = np.array([1, 1, 1])
fl = focal_loss_binary(logits, targets, alpha=0.25, gamma=2.0)
# 容易样本 (logit=5, target=1) 的损失应被压缩至极小
fl_easy = focal_loss_binary(np.array([5.0]), np.array([1]))
fl_hard = focal_loss_binary(np.array([-5.0]), np.array([1]))
assert fl_easy < fl_hard * 0.01, "简单样本未能被有效压制"
print("✓ Focal Loss 困难样本聚焦自测通过")

🎯 核心工程追问与标准应答

Q1:当 gamma = 0 时,Focal Loss 会发生什么变化?
当 γ=0\gamma = 0 时,聚焦因子 (1−pt)0=1(1 - p_t)^0 = 1,Focal Loss 完全退化为标准带有 α\alpha 加权的二元交叉熵损失(Weighted Cross-Entropy)。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
← 上一题: BCE with Logits Loss(二元交叉熵数值稳定)返回 Part E 与全部 105 题下一题: InfoNCE 对比学习损失(Batch 内样本对与温度缩放) →