M2-024M2: 经典机器学习决策树Medium
⚡闪卡盲测➔掌握度:
决策树为什么不需要特征缩放?它的归纳偏置是什么。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
分裂基于阈值比较,对单调变换不敏感;归纳偏置是轴平行分割,难以建模线性/旋转关系。
📌 核心要点提炼
- •对异常值较鲁棒
- •轴平行边界 → 线性关系需很多阶梯近似
📐 数学机理与严密推导
不需要缩放的原因:分裂条件形如 xⱼ≤t,是单调变换不变的——若把特征做单调变换(如对数、标准化),最优阈值 t 会相应变换但分裂的样本划分完全相同,树结构不变。这与线性模型(系数大小依赖尺度)、KNN(距离依赖尺度)、SVM(间隔依赖尺度)形成鲜明对比。对异常值也较鲁棒:因为分裂只看排序(阈值比较),单个极端值不会像在线性回归中那样大幅拉动拟合(虽然会影响阈值的具体位置)。归纳偏置:树的假设空间是轴平行(axis-parallel)的矩形划分——决策边界由垂直于坐标轴的超平面组成。这带来两个后果:① 对轴对齐的规则(如'年龄<30 且收入<5万')非常高效;② 对线性或旋转关系(如 x+y>1 或斜向边界)效率极低,需大量阶梯近似(深度随维度指数增长)。
🏭 深度剖析与工业落地权衡
实践含义:① 特征工程仍重要——虽然树不需要缩放,但旋转/线性组合特征能显著提升树的效果(如给树加上 PCA 分量、或手工构造差值/比值特征),因为这把'斜向边界'转为'轴对齐边界';② 与线性模型的互补——线性模型擅长线性关系但需交互项,树擅长交互与非线性但弱于线性;实践常把两者结合(GBDT + 线性模型 stacking、或线性叶子节点的树);③ 对噪声与冗余特征——树能自动忽略无关特征(不选它分裂),但对相关特征会在它们之间随机选择(导致重要度分散);④ 外推能力差——树在训练数据范围外的预测是常数(叶节点值),无法外推趋势,这是树模型在时间序列/趋势预测上的根本限制。
⚠️ 常见面试陷阱与高频失分点
- ✕对树做特征标准化以求提升(无效果)
- ✕期望树模型能外推训练范围之外的趋势
🎯 面试官连环追问与延伸考察
- ?为什么树对线性关系效率低?
- ?如何用树建模线性关系?(加线性叶子)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚