梯度提升 (GBDT/XGBoost): 比较 XGBoost 与 LightGBM 的工程差异。

Core Concept: LightGBM 用直方图分裂 + 叶子优先生长（leaf-wise）+ GOSS + EFB，更快但更易过拟合。

四项工程差异：① <strong>直方图算法</strong>——LightGBM 把连续特征离散化为固定数量的桶（默认 255），分裂时只需遍历桶而非所有唯一值，复杂度从 O(#unique) 降到 O(#bins)，且桶索引用 uint8 存储（内存降为 1/8）；代价是分裂点精度略降，但实测影响很小。XGBoost 也有 hist 模式（近似算法），但 LightGBM 原生以此为默认。② <strong>叶子优先生长（leaf-wise）</strong>——LightGBM 每次分裂<strong>当前增益最大</strong>的叶子（不论层级），而 XGBoost 默认<strong>按层生长（level-wise）</strong>。leaf-wise 在相同叶子数下损失更低（收敛更快、精度更高），但会产生<strong>不均衡的深树</strong>，在<strong>小数据上极易过拟合</strong>，故需限制 num_leaves 与 min_data_in_leaf。③ <strong>GOSS（Gradient-based One-Side Sampling）</strong>——保留所有大梯度样本（未训练好的），对小梯度样本随机采样并放大权重；在不损失太多精度下减少计算量。④ <strong>EFB（Exclusive Feature Bundling）</strong>——把互斥的稀疏特征（很少同时非零）捆绑为一个特征，降低有效特征数；对高维稀疏数据（如 one-hot）效果显著。

实践要点：① <strong>选择依据</strong>——大数据（>10⁴ 行、高维稀疏）优先 LightGBM（快 2–10 倍、内存低）；小数据或追求稳健性可用 XGBoost（level-wise 更保守）；类别特征多且需免编码用 CatBoost。② <strong>LightGBM 的调参重点</strong>——num_leaves（核心，控制复杂度）、min_data_in_leaf（防过拟合）、feature_fraction/bagging_fraction（采样）、lambda_l1/l2；由于 leaf-wise 的特性，<strong>不要</strong>用 max_depth 作为主要控制（用 num_leaves 更直接）。③ <strong>精度对比</strong>——中等规模数据上两者接近；LightGBM 在大数据上因速度快可调更多轮/更细网格，实际常略优。④ <strong>训练速度</strong>——LightGBM 通常快 2–10 倍（直方图 + leaf-wise + 优化），支持 GPU 与分布式。⑤ <strong>注意事项</strong>——LightGBM 在<strong>小数据（<1000 行）</strong>上默认参数容易过拟合，需调小 num_leaves 并加大 min_data_in_leaf；XGBoost 默认参数在小数据上更稳。⑥ <strong>两者都支持</strong>早停、自定义损失、缺失值原生处理、特征重要度（但注意 MDI 的偏向问题）。