损失函数族

损失函数族决定优化的目标几何与收敛速度。分类标准是交叉熵 CE: $L=-\sum_{i}y_i\log p_i$,二分类退化为 BCE $-[y\log\hat y+(1-y)\log(1-\hat y)]$;回归用 MSE: $L=\frac{1}{N}\sum\Vert y-\hat y\Vert^2$。两者梯度对比是面试核心: Softmax+CE 的梯度是 $p_i-y_i$,线性、永不饱和;而 Softmax+MSE 的梯度是 $(p_i-y_i)p_i(1-p_i)$,预测极端时 $p(1-p)\to0$ 令梯度消失、学习极慢。类别不平衡用 Focal Loss: $FL(p_t)=-\alpha_t(1-p_t)^\gamma\log p_t$,$\gamma=2$ 时易分样本的权重降到 $(1-p_t)^2$。对比学习用 InfoNCE: $-\log\frac{e^{\text{sim}(q,k_+)/\tau}}{\sum_{j=1}^{K}e^{\text{sim}(q,k_j)/\tau}}$,温度 $\tau$ 控制负样本惩罚强度;Triplet Loss: $\max(0,\,d(a,p)-d(a,n)+m)$,其中 $m$ 为间隔。

面试高频“分类为什么用 CE 而回归用 MSE?”、“CE 与 MSE 在 Softmax 下的梯度差异?”、“Focal Loss 如何解决正负样本不平衡?”、“InfoNCE 的温度参数怎么调?”;目标检测 RetinaNet、对比学习 CLIP/SimCLR、多标签 BCE 都是现场延伸方向。

收敛速度与鲁棒性——CE 的 $\log$ 与 Softmax 指数“互相抵消”得出 $p-y$ 的线性梯度,而 MSE 在饱和区梯度被 $p(1-p)$ 压没,同样网络下 CE 收敛可快一个数量级;Focal 用 $(1-p_t)^\gamma$ 压低易分样本(数量占优)的损失贡献,COCO 上 RetinaNet 是首个单阶段超越两阶段的检测器;InfoNCE 的 $\tau$ 决定负样本“难易”权重,直接决定 CLIP/SimCLR 的表征质量。

白板推导 Softmax+CE 梯度 $p_i-y_i$,并对比 Softmax+MSE 的 $(p_i-y_i)p_i(1-p_i)$: 为什么 CE 收敛更快?

写出 Focal Loss $FL(p_t)=-\alpha_t(1-p_t)^\gamma\log p_t$;$\gamma=2$ 时易分样本($p_t\to1$)权重如何变化?为什么能解决类别不平衡?

写出 InfoNCE 公式并解释温度 $\tau$ 的作用;为什么 $\tau$ 太小会让负样本梯度过强?

CE 与 BCE 的关系?多标签分类为什么用 BCE 而非多分类 CE?

回归任务为什么不用 CE?MSE / MAE / Huber 的梯度与对离群点鲁棒性对比?