损失函数族

损失函数族决定优化的目标几何与收敛速度。分类标准是交叉熵 CE: $L=-\sum_{i}y_i\log p_i$,二分类退化为 BCE $-[y\log\hat y+(1-y)\log(1-\hat y)]$;回归用 MSE: $L=\frac{1}{N}\sum\Vert y-\hat y\Vert^2$。两者梯度对比是面试核心: Softmax+CE 的梯度是 $p_i-y_i$,线性、永不饱和;而 Softmax+MSE 的梯度是 $(p_i-y_i)p_i(1-p_i)$,预测极端时 $p(1-p)\to0$ 令梯度消失、学习极慢。类别不平衡用 Focal Loss: $FL(p_t)=-\alpha_t(1-p_t)^\gamma\log p_t$,$\gamma=2$ 时易分样本的权重降到 $(1-p_t)^2$。对比学习用 InfoNCE: $-\log\frac{e^{\text{sim}(q,k_+)/\tau}}{\sum_{j=1}^{K}e^{\text{sim}(q,k_j)/\tau}}$,温度 $\tau$ 控制负样本惩罚强度;Triplet Loss: $\max(0,\,d(a,p)-d(a,n)+m)$,其中 $m$ 为间隔。

面试高频“分类为什么用 CE 而回归用 MSE?”、“CE 与 MSE 在 Softmax 下的梯度差异?”、“Focal Loss 如何解决正负样本不平衡?”、“InfoNCE 的温度参数怎么调?”;目标检测 RetinaNet、对比学习 CLIP/SimCLR、多标签 BCE 都是现场延伸方向。

收敛速度与鲁棒性——CE 的 $\log$ 与 Softmax 指数“互相抵消”得出 $p-y$ 的线性梯度,而 MSE 在饱和区梯度被 $p(1-p)$ 压没,同样网络下 CE 收敛可快一个数量级;Focal 用 $(1-p_t)^\gamma$ 压低易分样本(数量占优)的损失贡献,COCO 上 RetinaNet 是首个单阶段超越两阶段的检测器;InfoNCE 的 $\tau$ 决定负样本“难易”权重,直接决定 CLIP/SimCLR 的表征质量。

检验攻克程度：针对「损失函数族」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。