M2-024M2: 经典机器学习决策树Medium
⚡闪卡盲测➔掌握度:

决策树为什么不需要特征缩放?它的归纳偏置是什么。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-025 →
📐 核心数学机理公式
split: xj≤t\text{split}:\ x_j\le t
⚡ 一句话直击要害答案
分裂基于阈值比较,对单调变换不敏感;归纳偏置是轴平行分割,难以建模线性/旋转关系。

📌 核心要点提炼

  • •
    对异常值较鲁棒
  • •
    轴平行边界 → 线性关系需很多阶梯近似

📐 数学机理与严密推导

不需要缩放的原因:分裂条件形如 xⱼ≤t,是单调变换不变的——若把特征做单调变换(如对数、标准化),最优阈值 t 会相应变换但分裂的样本划分完全相同,树结构不变。这与线性模型(系数大小依赖尺度)、KNN(距离依赖尺度)、SVM(间隔依赖尺度)形成鲜明对比。对异常值也较鲁棒:因为分裂只看排序(阈值比较),单个极端值不会像在线性回归中那样大幅拉动拟合(虽然会影响阈值的具体位置)。归纳偏置:树的假设空间是轴平行(axis-parallel)的矩形划分——决策边界由垂直于坐标轴的超平面组成。这带来两个后果:① 对轴对齐的规则(如'年龄<30 且收入<5万')非常高效;② 对线性或旋转关系(如 x+y>1 或斜向边界)效率极低,需大量阶梯近似(深度随维度指数增长)。

🏭 深度剖析与工业落地权衡

实践含义:① 特征工程仍重要——虽然树不需要缩放,但旋转/线性组合特征能显著提升树的效果(如给树加上 PCA 分量、或手工构造差值/比值特征),因为这把'斜向边界'转为'轴对齐边界';② 与线性模型的互补——线性模型擅长线性关系但需交互项,树擅长交互与非线性但弱于线性;实践常把两者结合(GBDT + 线性模型 stacking、或线性叶子节点的树);③ 对噪声与冗余特征——树能自动忽略无关特征(不选它分裂),但对相关特征会在它们之间随机选择(导致重要度分散);④ 外推能力差——树在训练数据范围外的预测是常数(叶节点值),无法外推趋势,这是树模型在时间序列/趋势预测上的根本限制。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    对树做特征标准化以求提升(无效果)
  • ✕
    期望树模型能外推训练范围之外的趋势
🎯 面试官连环追问与延伸考察
  • ?
    为什么树对线性关系效率低?
  • ?
    如何用树建模线性关系?(加线性叶子)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-023: 决策树如何防止过拟合?列出主要手段。📋 返回题库下一题 →M2-025: 解释树的偏差-方差特性,以及为什么单棵树容易过拟合。