梯度提升 (GBDT/XGBoost): XGBoost 的增益公式是什么？它如何选择分裂点。

Core Concept: 增益 = 左右子节点梯度和的贡献减去父节点再减去复杂度惩罚。

推导思路：把目标函数在给定树结构下最小化，得叶子权重闭式解 w*_j=−G_j/(H_j+λ)，代入目标得'结构分数' −½ΣⱼG_j²/(H_j+λ)+γT。分裂的<strong>增益</strong>即'分裂后结构分数 − 分裂前结构分数'，展开后即上式。三项的含义：G_L²/(H_L+λ) 与 G_R²/(H_R+λ) 是左右子节点的贡献（梯度和越大、海森和越小则贡献越大），(G_L+G_R)²/(H_L+H_R+λ) 是父节点贡献，两者相减得到'分裂带来的净改善'；减去 γ 是复杂度惩罚（每增一个叶子的代价）。<strong>选择分裂点</strong>：遍历每个特征的候选切分点，计算增益，取增益最大者；若最大增益 < 0（或 < γ）则不分裂。

实践要点：① <strong>γ（gamma）的预剪枝作用</strong>——增益必须 > γ 才分裂，γ=0 时只要有正增益就分裂（易过拟合），γ 增大使树更保守；这等价于'最小不纯度下降'但在二阶框架下更精确。② <strong>min_child_weight 的作用</strong>——限制叶子节点的最小海森和 H_j，防止叶节点只有极少样本（H_j 小 → w*_j 可能极大 → 过拟合）；对不平衡数据调大该参数可提升稳定性。③ <strong>λ 的双重作用</strong>——既正则化叶子权重（防止 w* 过大），又稳定分母（H_j+λ 避免除零）；λ 增大使增益更保守。④ <strong>候选分裂点的生成</strong>——精确贪心遍历所有特征的所有取值（慢），近似算法用<strong>加权分位点</strong>（按 hᵢ 加权）生成 ~256 个候选点，在大数据上大幅加速且精度损失很小。⑤ <strong>实际调参顺序</strong>——先调学习率与树数（配早停），再调 max_depth/min_child_weight，最后调 λ/γ/采样比例。