梯度提升 (GBDT/XGBoost): CatBoost 解决了什么问题？什么是 ordered boosting。

Core Concept: 解决目标编码的泄漏与预测偏移；ordered boosting 用有序排列生成无偏的梯度估计。

两个核心问题：① <strong>目标编码的泄漏（target leakage）</strong>——传统做法用全体数据计算类别的目标均值，导致该特征'看到了自己的标签'（尤其对低频类别），模型会过度依赖它，训练误差极低但泛化差；这在 GBDT 的<strong>梯度提升中也造成预测偏移（prediction shift）</strong>：同一类别内样本的目标编码包含了彼此的信息，使梯度估计有偏。<strong>Ordered target statistics</strong> 的解法是对每个样本，只用<strong>在随机排列中位于它之前</strong>的样本计算其类别的目标均值——这模拟了'在线学习'的场景（预测时只有历史信息），从而消除泄漏。② <strong>Ordered boosting</strong> 的解法类似：为每个样本用'排在其前的样本'训练出的模型计算梯度，得到无偏的梯度估计（标准 GBDT 用全部数据算梯度，存在预测偏移）。

其他设计特点：① <strong>对称树（oblivious trees）</strong>——所有节点在同一层用<strong>相同的分裂条件</strong>（同一特征同一阈值），树的形状完全对称。优点是 (a) 推理快（可用位运算并行处理整批样本，2^depth 个叶子的索引可一次算出）；(b) 结构简单、正则性强（抗过拟合）。缺点是表达力略弱于非对称树（可能需更多树）。② <strong>原生类别特征处理</strong>——无需手动编码，内部用 ordered target statistics，对高基数类别友好（这是 CatBoost 相对 XGBoost 的主要优势之一）。③ <strong>适用场景</strong>——类别特征多、高基数、需要较少调参的场景；实测在多数表格数据集上与 LightGBM 相当或更好，且默认参数表现好（CatBoost 的 cat 即 categorical + boosting）。