梯度提升 (GBDT/XGBoost): 解释 GBDT 的特征重要度与 SHAP 值的差异。

Core Concept: MDI 基于不纯度下降（快但偏向高基数）；SHAP 基于博弈论（一致、逐样本，但计算贵）。

两者的差异：① <strong>MDI（Mean Decrease in Impurity）</strong>——累加某特征作为分裂特征带来的不纯度下降（按样本数加权）。优点：训练时顺便算出、成本为零。缺点：(a) <strong>偏向高基数/多取值特征</strong>（候选阈值多 → 更可能被选中且增益看似大）；(b) 在<strong>训练集</strong>上计算（对过拟合特征给高分）；(c) 相关特征互相稀释。② <strong>SHAP</strong>——基于合作博弈的 Shapley 值，把预测值分解为各特征的贡献之和（f(x)=φ₀+Σφⱼ），满足<strong>局部准确性</strong>（各贡献之和 = 预测值 − 基线）与<strong>一致性</strong>（若某特征在所有子集中的边际贡献都上升，其 SHAP 值必上升——这保证了重要度排序不自相矛盾）。<strong>TreeSHAP</strong> 针对树模型有精确的多项式时间算法（O(TLD²)，T 树数、L 叶数、D 深度），使 SHAP 在 GBDT 上实用化。<strong>关键差异</strong>：SHAP 给出<strong>逐样本</strong>的贡献分解（可做个体解释），而 MDI 只给全局标量；SHAP 不受高基数偏向，且可处理交互（SHAP interaction values）。

实践要点：① <strong>全局重要度</strong>——把 |SHAP 值| 在样本上取平均得到全局重要度（mean|SHAP|），这是目前最推荐的全局重要度度量；它不受高基数偏向、且在相关特征上的分配比 MDI 更合理（但仍受相关影响）。② <strong>相关特征的 SHAP 陷阱</strong>——SHAP 的 <code>feature_perturbation</code> 参数很关键：<strong>interventional</strong>（用背景数据集边缘分布替换特征，破坏相关）与 <strong>tree_path_dependent</strong>（沿树路径，保留相关）在强相关特征下给出<strong>不同</strong>答案；前者更符合'干预'语义（适合因果解释），后者更接近模型内部行为（适合调试）。应明确选择并说明。③ <strong>SHAP 与因果的区别</strong>——SHAP 是<strong>模型解释</strong>（特征对预测的贡献），不是<strong>因果效应</strong>（干预 xⱼ 对 y 的影响）；两者在相关特征下会显著不同。④ <strong>计算成本</strong>——TreeSHAP 精确但仍有成本（尤其样本多时）；可用<strong>采样</strong>（对部分样本计算）或 <strong>KernelSHAP 近似</strong>。⑤ <strong>其他工具</strong>——<strong>Permutation Importance</strong>（模型无关、直观，但相关特征下稀释）；<strong>PDP/ICE</strong>（展示特征与预测的关系形状，可验证单调性）；<strong>LIME</strong>（局部线性近似，快但稳定性差）。⑥ <strong>实践建议</strong>——报告重要度时用<strong>多种方法交叉验证</strong>（SHAP + 置换 + PDP），若结论冲突需深入调查（通常是相关特征或交互导致）。