M2-026M2: 经典机器学习决策树Hard
⚡闪卡盲测➔掌握度:
如何处理缺失值与类别特征?对比常见做法。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
缺失值可用代理分裂(CART)、按缺失率分流、或缺失指示变量;类别特征可用 one-hot、目标编码、或原生类别分裂(LightGBM/CatBoost)。
📌 核心要点提炼
- •目标编码需交叉拟合防泄漏
- •高基数类别 → 哈希/嵌入/计数编码
📐 数学机理与严密推导
缺失值处理:① 代理分裂(CART)——对每个主分裂,额外学若干'代理分裂'(用与主特征最相关的其他特征),当主特征缺失时用代理分裂决定走向;优点是保留样本且利用特征相关性,缺点是计算复杂。② 默认方向(XGBoost/LightGBM)——训练时为每个分裂学习'缺失样本走左还是走右'(按哪边损失更小),推理时缺失样本按该默认方向走;实现简单且效果常优于简单填充。③ 填充 + 指示变量——用均值/中位数/模型预测填充,并额外加一个'是否缺失'的二值特征(当缺失有信息时有效)。④ 按缺失分流——把缺失作为一个独立的类别分支。
🏭 深度剖析与工业落地权衡
类别特征处理:① one-hot——适合低基数(<10–20 类),高基数会导致维度爆炸与稀疏,且树在每个 one-hot 列上只能做'是/否'分裂(效率低)。② 目标编码(target/mean encoding)——用类别对应的目标均值替代,需交叉拟合(在 K 折内用其他折的均值编码本折,防止标签泄漏)+ 平滑(向全局均值收缩,尤其对低频类别)。③ 原生类别分裂(LightGBM/CatBoost)——LightGBM 用'按类别目标均值排序后分裂'(many-vs-many 分裂),CatBoost 用 ordered target statistics(按时间/随机顺序只用'过去'样本统计)从原理上避免泄漏,且用对称树加速。④ 嵌入——深度模型中对高基数类别学嵌入向量(如推荐系统中的 item embedding)。⑤ 计数/频率编码——用类别出现频次作为特征,简单且不泄漏,但信息量有限。
⚠️ 常见面试陷阱与高频失分点
- ✕对高基数类别用 one-hot(维度爆炸 + 分裂低效)
- ✕目标编码不做交叉拟合(严重标签泄漏)
🎯 面试官连环追问与延伸考察
- ?目标编码如何防止泄漏?
- ?为什么 LightGBM 能直接处理类别特征?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
📚