E3Medium★ 工业基石 (核心高频)Part E · 损失函数大全
Focal Loss(类别不平衡聚焦因子)
何恺明团队解决单阶段检测器正负样本极度失衡的杰作,通过调制因子 (1-pt)^gamma 抑制海量简单负样本。
⏱️ 时间复杂度:
O(N)💾 空间复杂度:
O(N)🎯 免登录实战自测闭环(先做再看答案)
按「机制回忆 → 关键行填空 → 边界反例 → 追问与错题记录」顺序自测,进度自动保存在本地。
Step 1 · 机制口述与数值稳定性自检
Step 2 · 核心代码关键行补全
import numpy as np
def focal_loss_binary(
logits: np.ndarray, # 未激活的 logit 预测
targets: np.ndarray, # 0 或 1
alpha: float = 0.25,
gamma: float = 2.0,
reduction: str = "mean"
) -> float:
# 1. 稳定计算 sigmoid 概率
probs =
# 2. 计算对应目标类别的概率 pt 与类别权重 alpha_t
pt = np.where(targets == 1, probs, 1.0 - probs)
alpha_t = np.where(targets == 1, alpha, 1.0 - alpha)
# 3. 聚焦因子 (1 - pt)^gamma
focal_weight = alpha_t * ((1.0 - pt) ** gamma)
# 4. 交叉熵核心 (添加 1e-12 避免 log(0))
ce_loss = -np.log(np.clip(pt, 1e-12, 1.0))
loss = focal_weight * ce_loss
if reduction == "mean":
return
return loss
Step 3 · 反例与边界断言核对
💡
实战一句话记忆口诀
一减 pt 算次方,简单样本削万倍,聚焦难例挑大梁
📐 核心数学公式与机理推导
### 简单样本抑制机制与动态权重
在密集目标检测(如 RetinaNet)中,前景(目标物体)与背景候选框比例可达 1:1000。海量容易分类的背景负样本()虽然单个损失很小,但累计总和完全淹没了稀有的正样本梯度。
Focal Loss 引入动态聚焦因子 (通常 ):
- 简单样本: 时,,其损失被压制缩小 10,000 倍!
- 困难样本: 时,,损失权重几乎不受影响;
同时引入类别平衡参数 (通常正样本配 0.25,负样本配 0.75),完美实现困难样本自适应挖掘。
在密集目标检测(如 RetinaNet)中,前景(目标物体)与背景候选框比例可达 1:1000。海量容易分类的背景负样本()虽然单个损失很小,但累计总和完全淹没了稀有的正样本梯度。
Focal Loss 引入动态聚焦因子 (通常 ):
- 简单样本: 时,,其损失被压制缩小 10,000 倍!
- 困难样本: 时,,损失权重几乎不受影响;
同时引入类别平衡参数 (通常正样本配 0.25,负样本配 0.75),完美实现困难样本自适应挖掘。
🔄 张量维度与形状流转说明
logits, targets -> probs -> pt -> (1 - pt)^gamma 调制因子 -> 乘以 CE -> 输出加权标量
🛡️ 数值稳定性自检与边界要点
- 对 log(pt) 必须添加 1e-12 的截断保护,防止数值崩溃
- 在模型初始化时,应将最后一层分类器的 Bias 初始化为 (例如 时 ),使网络初始输出正类概率趋近于 0.01,防止训练首步被海量背景产生巨大震荡
💻 完整参考代码实现
import numpy as np
def focal_loss_binary(
logits: np.ndarray, # 未激活的 logit 预测
targets: np.ndarray, # 0 或 1
alpha: float = 0.25,
gamma: float = 2.0,
reduction: str = "mean"
) -> float:
# 1. 稳定计算 sigmoid 概率
probs = 1.0 / (1.0 + np.exp(-np.clip(logits, -88.0, 88.0)))
# 2. 计算对应目标类别的概率 pt 与类别权重 alpha_t
pt = np.where(targets == 1, probs, 1.0 - probs)
alpha_t = np.where(targets == 1, alpha, 1.0 - alpha)
# 3. 聚焦因子 (1 - pt)^gamma
focal_weight = alpha_t * ((1.0 - pt) ** gamma)
# 4. 交叉熵核心 (添加 1e-12 避免 log(0))
ce_loss = -np.log(np.clip(pt, 1e-12, 1.0))
loss = focal_weight * ce_loss
if reduction == "mean":
return float(np.mean(loss))
return loss
🧪 本地测试与正确性断言
可直接复制到本地 Python / Jupyter 验证:
import numpy as np
logits = np.array([5.0, 0.0, -5.0])
targets = np.array([1, 1, 1])
fl = focal_loss_binary(logits, targets, alpha=0.25, gamma=2.0)
# 容易样本 (logit=5, target=1) 的损失应被压缩至极小
fl_easy = focal_loss_binary(np.array([5.0]), np.array([1]))
fl_hard = focal_loss_binary(np.array([-5.0]), np.array([1]))
assert fl_easy < fl_hard * 0.01, "简单样本未能被有效压制"
print("✓ Focal Loss 困难样本聚焦自测通过")🎯 核心工程追问与标准应答
Q1:当 gamma = 0 时,Focal Loss 会发生什么变化?
当 时,聚焦因子 ,Focal Loss 完全退化为标准带有 加权的二元交叉熵损失(Weighted Cross-Entropy)。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!