目标编码 Target Encoding

目标编码(Target Encoding)用“该类别下目标均值”编码高基数类别特征(如 user_id、城市、商品 ID)。平滑公式: $TE = \lambda(n_i) \cdot \text{mean}(y_i) + (1 - \lambda(n_i)) \cdot \text{global\_mean}$,其中置信度权重 $\lambda(n_i) = \frac{n_i}{n_i + m}$——样本量 $n_i$ 越大越相信组内均值, 平滑参数 $m$ 控制收缩强度, 防止小样本组的编码被噪声带偏。泄漏风险: 若直接对全量数据求组均值, 训练与验证特征都携带了目标信息(CV 分数虚高、线上崩溃), 这是 TE 最大的坑。解法: OOF (out-of-fold) 编码——对某样本用“不包含它的那一折之外”的数据算均值; CatBoost 更进一步用 Ordered Target Statistics——按时间/顺序只用该样本之前的历史样本计算统计量, 从机制上切断泄漏。

高基数类别特征 + 树模型(GBDT/LightGBM)与 Kaggle 竞赛的标配; 面试常问“为什么高基数不用 one-hot”“目标编码怎么防泄漏”“m 怎么选”。

One-hot 对高基数特征维度爆炸(100 万 user_id 变成 100 万列)、内存与稀疏性灾难; 组均值编码泄漏目标信息、小样本组过拟合; 平滑收缩 + OOF/Ordered 编码在保留类别-目标关联信息的同时, 把泄漏和过拟合都控制住——CatBoost 正是靠 Ordered 编码取代 one-hot, 才让类别特征直接参与训练。

写出平滑目标编码公式 $TE = \lambda \cdot \text{mean}(y_i) + (1-\lambda) \cdot \text{global}$, $\lambda(n_i) = \frac{n_i}{n_i+m}$; 直观解释 m 与 $n_i$ 的作用?

为什么直接用全量组均值编码会泄漏? 描述具体泄漏路径与 CV 虚高的机理?

OOF (out-of-fold) 编码的具体步骤? 与 CatBoost Ordered Target Statistics 的区别?

为什么高基数类别特征不用 one-hot 而用 target encoding? 维度、稀疏性、信息量三方面对比?

m 平滑参数怎么选? 小样本组不收缩会发生什么(编码方差大、过拟合)?