梯度提升 (GBDT/XGBoost): 解释 GBDT 的早停与最优迭代数的确定。

Core Concept: 用验证集监控，在指标不再改善时停止；早停同时是正则化与效率优化。

机制与作用：GBDT 是<strong>串行加法模型</strong>，树数 T 增加会持续降低训练误差，但验证误差呈 <strong>U 型</strong>（先降后升）——过多的树会拟合噪声导致过拟合。<strong>早停</strong>的做法是每加一棵树后评估验证集指标，若连续 k 轮（patience）没有改善则停止，并回退到最佳轮数。<strong>三重作用</strong>：① <strong>正则化</strong>——限制有效模型复杂度（等价于限制函数空间的搜索半径），是 GBDT 最重要的防过拟合手段之一；② <strong>效率</strong>——避免无谓的额外训练（树数可能上千，早停常能省 30–50% 时间）；③ <strong>确定最优 T</strong>——T 与学习率 η 强耦合（η 小则需更多树），早停能自动适配 η 的选择。<strong>参数关系</strong>：η 与 T 大致呈反比（η·T 近似固定），故调参时应先定 η（如 0.05–0.1），再用早停确定 T；η 越小通常泛化越好但训练越慢。

实践要点：① <strong>patience 的选择</strong>——k 太小会因验证指标的噪声波动而过早停止（欠拟合）；k 太大则浪费计算。常用 k=20–50（视数据规模与噪声），数据大/噪声小时可取小些。② <strong>验证集的正确使用</strong>——必须用<strong>独立的验证集</strong>（不能是训练集或测试集）；若用 CV，应对每折分别早停并取平均最优轮数，或先用一个验证集确定 T 再在全体数据上训练。③ <strong>与学习率的联合调优</strong>——实践流程：先设 η=0.1、用早停找到 T，再试 η=0.05（T 会更大但可能更好），比较验证性能；不要固定 T 而只调 η（会因 T 不适配而误判）。④ <strong>监控指标的选择</strong>——应与业务目标一致（不平衡用 PR-AUC/AUC 而非 accuracy）；若多指标，应指定一个主指标用于早停。⑤ <strong>自定义评估函数</strong>——XGBoost/LightGBM 支持传入自定义评估函数（如 NDCG），早停可基于它。⑥ <strong>与正则参数的配合</strong>——早停与 max_depth、min_child_weight、λ、γ 等共同控制复杂度；通常先调正则参数（控制单棵树），再用早停控制树数。⑦ <strong>注意</strong>——若数据量小、验证集也小，早停的轮数选择会有较大方差，应多次重复（不同划分）取稳健值。