M2-025M2: 经典机器学习决策树Medium
⚡闪卡盲测➔掌握度:

解释树的偏差-方差特性,以及为什么单棵树容易过拟合。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-026 →
📐 核心数学机理公式
Var↑ with depth\mathrm{Var}\uparrow\ \text{with depth}
⚡ 一句话直击要害答案
深树低偏差高方差(对训练数据扰动敏感);浅树高偏差低方差。

📌 核心要点提炼

  • •
    这是 Bagging 降方差的动机
  • •
    剪枝 = 在偏差与方差间折中

📐 数学机理与严密推导

树的偏差-方差随深度的变化:浅树(如深度 1 的决策桩)只能表达极简单的规则,偏差高、方差低——无论数据怎么扰动,结构都差不多。深树能完美拟合训练数据(偏差→0),但结构对数据极度敏感:若训练集中某个样本不同,可能改变早期分裂从而改变整棵树的下游结构——这是高方差的根源。极端情形是完全生长的树(每个叶一个样本),训练误差为 0 但泛化极差。为什么对扰动敏感:分裂是贪心且离散的选择——阈值附近的样本微小变动可能翻转分裂方向,而该分裂决定了后续所有子树,误差被放大。这与线性模型(参数连续变化)形成对比。

🏭 深度剖析与工业落地权衡

实践启示:① 随机森林用深树——因为 Bagging 通过平均多个不相关的深树来降方差(方差降为 ρσ²+(1−ρ)σ²/B),故保留深树的低偏差同时降低方差;② GBDT 用浅树(深度 3–6)——因为 Boosting 是串行降偏差,浅树提供弱学习器,若用深树则每棵都过拟合、且串行放大误差;③ 剪枝的本质——在偏差与方差间选折中点,代价复杂度参数 α 控制该折中;④ 与集成的关系——树的'高方差'不是缺点而是被利用的特性:Bagging 需要基学习器高方差(才有降方差空间),Boosting 需要基学习器低方差高偏差(才能稳定地逐步改进)。这也解释了为什么树是两类集成方法的首选基学习器。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为深树总是更好(忽略方差爆炸)
  • ✕
    在 Boosting 中使用完全生长的深树
🎯 面试官连环追问与延伸考察
  • ?
    为什么随机森林用深树?
  • ?
    为什么 GBDT 用浅树?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-024: 决策树为什么不需要特征缩放?它的归纳偏置是什么。📋 返回题库下一题 →M2-026: 如何处理缺失值与类别特征?对比常见做法。