GBDT 负梯度拟合

GBDT (Gradient Boosting Decision Tree) 把 Boosting 看作函数空间上的梯度下降: 加法模型 $F_M(x) = \sum_{m=1}^{M} \rho_m h_m(x)$, 每轮沿损失对函数值 $F$ 的负梯度方向更新 $F_m = F_{m-1} - \rho_m \nabla_F L\big|_{F = F_{m-1}}$。第 $m$ 轮三步: (1) 对每个样本计算负梯度伪残差 $\tilde{y}_i = -\left[ \frac{\partial L\left(y_i, F(x_i)\right)}{\partial F(x_i)} \right]_{F = F_{m-1}}$; (2) 用回归树拟合 $(x_i, \tilde{y}_i)$, 得到叶子区域划分 $R_{jm}$ ($j = 1, \dots, J_m$); (3) 对每个叶子做线搜索定输出 $\rho_{jm} = \arg\min_{\rho} \sum_{x_i \in R_{jm}} L\left(y_i, F_{m-1}(x_i) + \rho\right)$。平方损失 $L = \frac{1}{2}(y - F)^2$ 时伪残差恰为普通残差 $\tilde{y}_i = y_i - F_{m-1}(x_i)$, 叶子输出为叶内伪残差均值; 绝对值损失时 $\tilde{y}_i = \text{sign}\left(y_i - F_{m-1}(x_i)\right)$, 叶子输出为中位数 (L2 均值 / L1 中位数对应); 二分类 (log-loss) 以对数几率 $F$ 建模: $\hat{p}_i = \sigma\left(F_{m-1}(x_i)\right)$, 伪残差 $\tilde{y}_i = y_i - \hat{p}_i$, 叶子值再做一个牛顿步修正。训练加收缩 (学习率) $\nu \in (0.01, 0.1)$: $F_m = F_{m-1} + \nu \cdot \text{tree}_m$ — 每棵树贡献打折, 需要更多棵树, 但泛化显著更好; 随机梯度提升 (subsampling) 进一步降方差。Friedman (2001) 证明 AdaBoost 是指数损失下梯度提升的特例。

“GBDT 伪残差怎么来”“叶子输出怎么定”“与 AdaBoost 区别”“学习率的作用”是高频白板追问; 工程上是回归/分类/排序 (LambdaMART) 的经典强基线。

AdaBoost 的指数损失只适合二分类且对噪声敏感 — 负梯度框架把 Boosting 推广到任意可微损失: 每轮拟合的是 $\frac{\partial L}{\partial F}$ 而非标签本身, 换损失只需换一阶导 (Huber/分位数损失做鲁棒回归、log-loss 做概率分类、NDCG 近似做排序), 且逐轮拟合残差直接降偏差, 是“高偏差低方差弱模型”场景 (浅树) 的标准解法; 相比随机森林的降方差, GBDT 更擅长偏差主导的场景。

检验攻克程度：针对「GBDT 负梯度拟合」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。