M2-029M2: 经典机器学习集成方法 (Bagging/RF)Medium
⚡闪卡盲测➔掌握度:
如何得到随机森林的特征重要度?它有什么缺陷。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
基于不纯度下降(MDI)或置换重要度(permutation);MDI 偏向高基数特征且受相关特征稀释。
📌 核心要点提炼
- •相关特征会互相分走重要度
- •置换重要度更可靠但计算贵
- •更严谨可用 SHAP
📐 数学机理与严密推导
三种重要度:① MDI(Mean Decrease in Impurity)——累加该特征在所有树中作为分裂特征带来的不纯度下降(按样本数加权)。优点是免费(训练时顺便算);缺点是:(a) 偏向高基数/多取值特征(更多候选阈值 → 更可能被选中且增益看似更大);(b) 在训练集上计算故对过拟合特征给高分;(c) 相关特征互相稀释——若两个特征强相关,树会在它们之间随机选,导致两者重要度都被低估。② 置换重要度(Permutation Importance)——在验证集上随机打乱某特征的值,看性能下降多少;优点是不偏向高基数、反映真实预测贡献;缺点是 (a) 计算需 O(p) 次预测;(b) 相关特征仍被稀释(打乱一个,另一个仍提供信息故性能不降);(c) 若特征分布与真实推理分布不同会失真。③ SHAP——基于博弈论的 Shapley 值,理论上满足一致性、局部准确性等公理,能给出逐样本的贡献分解,且能处理相关特征(需指定特征依赖);代价是计算成本高(TreeSHAP 对树模型有高效精确算法)。
🏭 深度剖析与工业落地权衡
实践建议:① 优先用置换重要度 + SHAP——MDI 只适合快速粗筛;报告重要度时应在测试集上算置换重要度并多次重复取平均(减少随机性)。② 处理相关特征——用分组置换(把相关特征组一起打乱)、或先做聚类再把同组特征合并为一个特征;SHAP 的
feature_perturbation 参数取 interventional 与 tree_path_dependent 时,在相关特征下给出不同答案,需明确选择。③ 重要度 ≠ 因果——重要度只反映模型内的预测贡献,不能解释为因果效应;若需因果推断应用专门的因果方法(如 DML、因果森林)。④ 重要度稳定性——用多个随机种子重复训练并比较重要度排序,若不稳定说明特征间存在强相关或数据不足。⚠️ 常见面试陷阱与高频失分点
- ✕用 MDI 的重要度做特征选择(偏向高基数 + 训练集上算)
- ✕把重要度当作因果效应解读
🎯 面试官连环追问与延伸考察
- ?如何正确评估相关特征的重要度?(分组置换/SHAP)
- ?为什么 MDI 偏向高基数特征?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!