目标编码 Target Encoding

目标编码(Target Encoding)用“该类别下目标均值”编码高基数类别特征(如 user_id、城市、商品 ID)。平滑公式: $TE = \lambda(n_i) \cdot \text{mean}(y_i) + (1 - \lambda(n_i)) \cdot \text{global\_mean}$,其中置信度权重 $\lambda(n_i) = \frac{n_i}{n_i + m}$——样本量 $n_i$ 越大越相信组内均值, 平滑参数 $m$ 控制收缩强度, 防止小样本组的编码被噪声带偏。泄漏风险: 若直接对全量数据求组均值, 训练与验证特征都携带了目标信息(CV 分数虚高、线上崩溃), 这是 TE 最大的坑。解法: OOF (out-of-fold) 编码——对某样本用“不包含它的那一折之外”的数据算均值; CatBoost 更进一步用 Ordered Target Statistics——按时间/顺序只用该样本之前的历史样本计算统计量, 从机制上切断泄漏。

高基数类别特征 + 树模型(GBDT/LightGBM)与 Kaggle 竞赛的标配; 面试常问“为什么高基数不用 one-hot”“目标编码怎么防泄漏”“m 怎么选”。

One-hot 对高基数特征维度爆炸(100 万 user_id 变成 100 万列)、内存与稀疏性灾难; 组均值编码泄漏目标信息、小样本组过拟合; 平滑收缩 + OOF/Ordered 编码在保留类别-目标关联信息的同时, 把泄漏和过拟合都控制住——CatBoost 正是靠 Ordered 编码取代 one-hot, 才让类别特征直接参与训练。

检验攻克程度：针对「目标编码 Target Encoding」专属刷题排雷

做单选排雷题、推导选项机制，答错自动收录进专属错题本。