M2-023M2: 经典机器学习决策树Easy
⚡闪卡盲测➔掌握度:

决策树如何防止过拟合?列出主要手段。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-024 →
📐 核心数学机理公式
cost complexity: Rα(T)=R(T)+α∣T∣\text{cost complexity}:\ R_\alpha(T)=R(T)+\alpha|T|
⚡ 一句话直击要害答案
预剪枝(最大深度/最小样本/最小增益)+ 后剪枝(代价复杂度)+ 集成。

📌 核心要点提炼

  • •
    预剪枝快但可能欠拟合
  • •
    后剪枝通常效果更好
  • •
    实际多直接用随机森林/GBDT

📐 数学机理与严密推导

两类剪枝策略:① 预剪枝(pre-pruning)——在生长过程中提前停止:限制最大深度(max_depth)、最小叶样本数(min_samples_leaf)、最小分裂样本数(min_samples_split)、最小不纯度下降(min_impurity_decrease)、最大叶节点数。优点是快,缺点是贪心停止可能错过后续更有用的分裂(因为当前分裂看起来增益小但为后续铺路),导致欠拟合。② 后剪枝(post-pruning)——先长成完整树再自底向上剪:代价复杂度剪枝(CCP)最小化 R_α(T)=R(T)+α|T|,其中 R(T) 是训练误差、|T| 是叶节点数、α 是惩罚系数;α=0 不剪、α→∞ 剪成单节点,通过 CV 选 α。其他方法包括错误率降低剪枝(REP)、悲观剪枝(PEP,C4.5 用,无需额外验证集)。

🏭 深度剖析与工业落地权衡

实践要点:① 后剪枝通常优于预剪枝——因为它基于完整树的全局信息做决策,而非贪心提前停止;但计算成本更高。② 单棵树的根本问题——即使剪枝,单棵树仍方差大(训练数据微小扰动会导致结构大变),这是 Bagging/随机森林的直接动机。③ 实践中的选择——现代实践中很少直接用单棵树:若需要可解释性,用浅树(深度 3–5)+ 预剪枝;若追求性能,用随机森林(深树 + 平均降方差)或 GBDT(浅树 + 串行降偏差)。④ sklearn 的默认——DecisionTreeClassifier 默认不剪枝(完全生长),需手动设置;ccp_alpha 参数控制代价复杂度剪枝强度,可用 cost_complexity_pruning_path 得到候选 α 序列。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为预剪枝总是更好(可能欠拟合)
  • ✕
    让单棵树完全生长而不剪枝(严重过拟合)
🎯 面试官连环追问与延伸考察
  • ?
    预剪枝与后剪枝的取舍?
  • ?
    为什么单棵树方差大?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-022: 解释决策树的分裂准则(信息增益 / 基尼不纯度)。📋 返回题库下一题 →M2-024: 决策树为什么不需要特征缩放?它的归纳偏置是什么。