M2-023M2: 经典机器学习决策树Easy
⚡闪卡盲测➔掌握度:
决策树如何防止过拟合?列出主要手段。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
预剪枝(最大深度/最小样本/最小增益)+ 后剪枝(代价复杂度)+ 集成。
📌 核心要点提炼
- •预剪枝快但可能欠拟合
- •后剪枝通常效果更好
- •实际多直接用随机森林/GBDT
📐 数学机理与严密推导
两类剪枝策略:① 预剪枝(pre-pruning)——在生长过程中提前停止:限制最大深度(max_depth)、最小叶样本数(min_samples_leaf)、最小分裂样本数(min_samples_split)、最小不纯度下降(min_impurity_decrease)、最大叶节点数。优点是快,缺点是贪心停止可能错过后续更有用的分裂(因为当前分裂看起来增益小但为后续铺路),导致欠拟合。② 后剪枝(post-pruning)——先长成完整树再自底向上剪:代价复杂度剪枝(CCP)最小化 R_α(T)=R(T)+α|T|,其中 R(T) 是训练误差、|T| 是叶节点数、α 是惩罚系数;α=0 不剪、α→∞ 剪成单节点,通过 CV 选 α。其他方法包括错误率降低剪枝(REP)、悲观剪枝(PEP,C4.5 用,无需额外验证集)。
🏭 深度剖析与工业落地权衡
实践要点:① 后剪枝通常优于预剪枝——因为它基于完整树的全局信息做决策,而非贪心提前停止;但计算成本更高。② 单棵树的根本问题——即使剪枝,单棵树仍方差大(训练数据微小扰动会导致结构大变),这是 Bagging/随机森林的直接动机。③ 实践中的选择——现代实践中很少直接用单棵树:若需要可解释性,用浅树(深度 3–5)+ 预剪枝;若追求性能,用随机森林(深树 + 平均降方差)或 GBDT(浅树 + 串行降偏差)。④ sklearn 的默认——
DecisionTreeClassifier 默认不剪枝(完全生长),需手动设置;ccp_alpha 参数控制代价复杂度剪枝强度,可用 cost_complexity_pruning_path 得到候选 α 序列。⚠️ 常见面试陷阱与高频失分点
- ✕认为预剪枝总是更好(可能欠拟合)
- ✕让单棵树完全生长而不剪枝(严重过拟合)
🎯 面试官连环追问与延伸考察
- ?预剪枝与后剪枝的取舍?
- ?为什么单棵树方差大?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚