重采样方法 SMOTE/ADASYN/Tomek

重采样用数据手段平衡类别分布。SMOTE (合成少数类过采样): 对少数类样本 $x_i$, 在 k 近邻中随机选一个近邻 $x_{z_i}$, 沿连线插值生成合成样本 $x_{new} = x_i + \lambda(x_{z_i} - x_i)$, 其中 $\lambda \sim U[0,1]$, 相比随机复制缓解过拟合。ADASYN (自适应合成): 按少数类样本“难学程度”决定生成量——周围多数类密度越高(越靠近决策边界)的样本生成越多, 把合成样本重心移到难分区域。Tomek Links (清洗): 若 $x$ 与 $y$ 互为最近邻且分属不同类别, 二者构成 Tomek Link(边界样本对), 删除其中多数类样本, 常用于与 SMOTE 组合 (SMOTE-Tomek): 先合成边界样本、再清洗边界重叠区。

类别不平衡且少数类样本量少、特征为连续数值(可插值)时; 面试常问 SMOTE 插值公式、为什么不能用于文本/高维稀疏特征、复制过采样为什么不行。

随机过采样只是复制少数类, 模型在小范围重复样本上过拟合、决策区域过于集中; SMOTE 在局部特征空间插值“凭空生成”新样本, 扩大了少数类决策区域; 但 SMOTE 不处理多数类噪声与边界重叠, 反而可能加重重叠, Tomek Links 把决策面推离重叠边界, 二者组合(如 SMOTE-Tomek)同时缓解过拟合与边界混淆。

写出 SMOTE 插值公式 $x_{new} = x_i + \lambda(x_{z_i} - x_i)$, 解释为什么 $\lambda \in [0,1]$、为什么能缓解复制过拟合?

SMOTE 的局限: 为什么对高维/文本/稀疏特征不安全? 对标签噪声敏感吗?

ADASYN 与 SMOTE 的区别? “自适应”体现在哪里(生成数量按什么决定)?

Tomek Links 是什么? 它属于过采样还是清洗? 为什么常与 SMOTE 组合使用?

SMOTE 应该在划分训练/验证集之前还是之后做? 放在划分前会带来什么泄漏?