M2-062M2: 经典机器学习特征工程Easy
⚡闪卡盲测➔掌握度:

列举类别特征的常见编码方式及适用场景

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-063 →
📐 核心数学机理公式
target enc: yˉcat with smoothing\text{target enc}:\ \bar y_{\text{cat}}\ \text{with smoothing}
⚡ 一句话直击要害答案
one-hot(低基数)、目标编码(高基数)、频率编码、哈希、嵌入(深度学习)。

📌 核心要点提炼

  • •
    高基数 one-hot 导致维度爆炸与稀疏
  • •
    目标编码需交叉拟合防泄漏

📐 数学机理与严密推导

五种编码的适用与权衡:① One-hot——每个类别一列 0/1;适合低基数(<10–20 类);优点是简单无信息泄漏;缺点是高基数时维度爆炸、矩阵稀疏、且对树模型低效(每个 one-hot 列只能做是/否分裂)。② 目标编码(Target/Mean Encoding)——用类别对应的目标均值替代;适合高基数(如城市、商品 ID);关键是必须交叉拟合(在 K 折内用其他折的均值编码本折)与平滑(向全局均值收缩:编码 = (n·mean_cat + m·global_mean)/(n+m),n 为类别样本数、m 为平滑强度),否则低频类别的编码会严重过拟合。③ 频率/计数编码——用类别出现频次;简单、无泄漏,但信息量有限(只反映流行度);常与其他编码组合。④ 哈希编码(Hashing Trick)——用哈希函数把类别映射到固定维度;优点是无需维护词表、支持流式与未知类别;缺点是哈希冲突;用符号哈希(signed hash)可部分抵消冲突。⑤ 嵌入(Embedding)——为每个类别学一个稠密向量;适合深度学习与极高基数(推荐系统中的商品/用户 ID);能捕捉类别间的相似性,但需足够数据训练。

🏭 深度剖析与工业落地权衡

实践要点:① 基数与编码的对应——低基数(<20)→ one-hot;中高基数(20–10⁴)→ 目标编码(带交叉拟合)或频率编码;极高基数(>10⁴)→ 哈希或嵌入。② 目标编码的泄漏机制——若用全量数据算类别均值,则每个样本的编码都包含了自己的标签(尤其当类别样本少时),模型会过度依赖该特征;交叉拟合模拟了'预测时只有其他样本'的情形。③ 树模型的原生支持——LightGBM 与 CatBoost 可直接处理类别特征(CatBoost 的 ordered target statistics 从原理上避免泄漏);若用这两个库,可不手动编码。④ 未知类别处理——线上会出现训练时未见过的类别,需预留'未知'类别或用哈希(哈希天然支持)。⑤ 编码与模型的交互——线性模型需 one-hot 或目标编码(要显式数值);树模型对编码方式较宽容但目标编码的泄漏风险仍需注意;神经网络宜用嵌入。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    对高基数类别用 one-hot(维度爆炸)
  • ✕
    目标编码不做交叉拟合与平滑(严重泄漏)
🎯 面试官连环追问与延伸考察
  • ?
    为什么高基数不适合 one-hot?
  • ?
    目标编码如何做平滑?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-061: 如何选择降维后的维度?解释方差比例法的思路与局限📋 返回题库下一题 →M2-063: 为什么要对数值特征分箱?分箱方式有哪些