Loss Functions & Objectives: 比较 MSE、MAE、Huber 损失。

Core Concept: MSE 对大误差平方惩罚（对离群点敏感、梯度线性）；MAE 线性惩罚（对离群点鲁棒、零点不可导）；Huber 二者折中。

数学机理：<strong>MSE</strong> 的梯度 ∂/∂ŷ = −2(y−ŷ)/n 与误差<strong>成正比</strong>——误差越大梯度越大，故大误差样本主导更新、对离群点极其敏感；其最优解是<strong>均值</strong>（因为最小化平方和 ⇔ 最小化方差）。<strong>MAE</strong> 的梯度为 ±1/n（常数），与误差大小<strong>无关</strong>——无论误差多大梯度都相同，故离群点不会主导更新，鲁棒；其最优解是<strong>中位数</strong>（最小化绝对偏差和 ⇔ 中位数）。但 MAE 在误差为 0 处<strong>不可导</strong>（次梯度），且梯度恒定使其在接近最优时步长不衰减、收敛震荡。<strong>Huber</strong> 用阈值 δ 分段：|e|≤δ 时用 ½e²（平滑可导、小误差时梯度随误差衰减、收敛稳定），|e|>δ 时用 δ(|e|−½δ)（线性、梯度恒为 δ、抑制离群点影响）。两段在 |e|=δ 处函数值与导数均连续（可验证 ½δ² 与 δ(δ−½δ)=½δ² 相等、导数为 δ），故 Huber 兼有 MSE 的平滑与 MAE 的鲁棒。δ 通常取残差标准差的 1~2 倍（用 MAD 估计，对离群点鲁棒）。

深度剖析与工程权衡：① <strong>概率视角</strong>——最小化 MSE 等价于<strong>高斯似然的最大似然估计</strong>（MSE 是负对数似然的常数倍）；MAE 对应<strong>拉普拉斯似然</strong>；Huber 对应'高斯与拉普拉斯混合'的似然。理解这一点可在面试中把'选损失'与'假设噪声分布'关联起来。② <strong>与优化的关系</strong>——MSE 在深度网络中可能因大误差产生大梯度而失稳（需裁剪）；MAE 的恒定梯度使其在接近最优时无法精细收敛（需 lr 衰减）；Huber 通过 δ 调节'何时切换到鲁棒模式'。③ <strong>回归任务的现代选择</strong>——在噪声大、含离群点的任务（如金融、风控、用户项目中的风险预测）Huber 或 Quantile Loss 更合适；在噪声小、需精细拟合时 MSE 更优。④ <strong>与评估指标的匹配</strong>——若评估用 RMSE，训练用 MSE（一致）；若评估用 MAE/中位数误差，训练用 MAE；若评估关心分位数（如 P99 延迟），用 <strong>Quantile Loss</strong>（pinball loss）。⑤ <strong>对数变换技巧</strong>——对长尾目标（如金额、流量），常先取 log 再用 MSE，这等价于对相对误差的平方惩罚，比直接 Huber 更贴合业务。⑥ <strong>面试要点</strong>——被问'为什么 MAE 鲁棒'，答案要落到'梯度与误差大小无关'这一机制，而非'因为它不平方'；并主动提到'MAE 的最优解是中位数'。