常见损失函数选型与梯度特性

损失函数选型与梯度特性体系 (Loss Function Taxonomy & Gradient Dynamics) 是机器学习工程师针对不同任务类型（回归、二分类、多分类、排序、对比学习）与数据噪声分布，设计最优监督目标与梯度下降动力的核心理论库；核心损失函数族：1) 回归任务：MSE (L2: 对大误差惩罚极强易受异常值影响)、MAE (L1: 鲁棒但 0 点不可导)、Huber Loss (分段平滑过渡结合 L1/L2 优点)；2) 分类任务：Binary Cross-Entropy (二分类对数损失)、Categorical Cross-Entropy (多分类配 Softmax)、Focal Loss (针对极端不平衡，动态抑制易分样本梯度)；3) 度量与对比学习：Triplet Loss (三元组边际损失)、InfoNCE (基于温度系数的对比交叉熵)。

工业级模型目标函数设计、异常值鲁棒性调优、样本不平衡惩罚定制与多任务联合损失加权。

盲目套用 MSE 会因脏数据离群点导致梯度爆炸，标准交叉熵在 1:10000 稀疏样本下会产生梯度掩蔽；科学的损失函数选型提供了抗噪、凸优化收敛与业务目标无偏差对齐。

推导交叉熵损失函数对 Softmax 输入 Logits $z_i$ 的导数：$\frac{\partial \mathcal{L}}{\partial z_i} = p_i - y_i$，并解释其简洁的“预测概率减去真实标签”物理意义？

对比 Huber Loss 与 Smooth L1 Loss 在目标检测与回归任务中的数学公式与一阶导数连续性？

Focal Loss 中调节因子 $(1 - p_t)^\gamma$ 如何动态抑制已分类良好样本的梯度（当 $p_t=0.99$ 时梯度衰减 1000 倍）？

InfoNCE 损失函数中温度系数 $\tau$ (Temperature) 的作用：如何平衡难负例区分度与特征崩塌 (Representation Collapse)？

标签平滑 (Label Smoothing Cross-Entropy: $y_{\text{smooth}} = (1 - \epsilon) y + \frac{\epsilon}{K}$) 在防止模型过度自信与过拟合中的数学机理？