梯度提升 (GBDT/XGBoost): 解释 GBDT 如何支持自定义损失函数。

Core Concept: 只需损失一阶可导，每轮用树拟合负梯度；二阶方法（XGBoost）还需二阶导。

支持机制：GBDT 的核心是<strong>函数空间梯度下降</strong>——每轮用一棵树拟合当前损失函数的负梯度（伪残差），故只需损失<strong>一阶可导</strong>即可。具体地，对每个样本计算 gᵢ=∂ℓ/∂F（在当前位置），用树拟合 −gᵢ；XGBoost 进一步用二阶泰勒展开，需同时提供 hᵢ=∂²ℓ/∂F²，叶子最优权重为 w*=−G/(H+λ)、增益公式也由 g、h 导出。<strong>实现方式</strong>：在 LightGBM/XGBoost 中传入自定义目标函数（返回一阶导、可选二阶导）与评估函数。<strong>典型自定义损失举例</strong>：① <strong>分位数损失</strong>——ℓ=(α−1[y<F])(y−F)，用于预测分位数（如 P90 延迟）；② <strong>Huber 损失</strong>——对小误差平方、对大误差线性，抗异常值；③ <strong>Focal 损失</strong>——处理类别不平衡；④ <strong>排序损失</strong>（LambdaMART）——直接优化 NDCG；⑤ <strong>Tweedie 损失</strong>——零膨胀的正值数据（保险理赔）。

实践要点与注意事项：① <strong>一阶导必须正确</strong>——自定义损失的梯度若写错，训练会静默地优化错误的损失（表现为效果差但无报错）；应用<strong>数值梯度检查</strong>（有限差分对比解析梯度）验证。② <strong>二阶导的作用</strong>——若只提供一阶导，XGBoost 会用 hᵢ=1 近似（退化为类似 GBDT），收敛慢；提供正确的二阶导能显著加速与提升精度。③ <strong>损失的凸性与稳定性</strong>——非凸损失（如某些排序损失）可能导致训练不稳，需调小学习率、加正则、或用早停。④ <strong>评估函数与目标函数分离</strong>——目标函数用于训练（需可导），评估函数用于监控（可不可导，如 AUC、NDCG）；两者应分别提供，不要用不可导指标直接训练。⑤ <strong>尺度问题</strong>——自定义损失的尺度会影响有效学习率与正则强度（如损失放大 10 倍相当于学习率缩小 10 倍）；应在切换损失后重新调参。⑥ <strong>实践建议</strong>——优先用库内置损失（已充分测试与优化）；仅在业务确需特殊目标（如分位数预测、特殊排序需求）时自定义，并做好梯度验证与调参。