M2-075M2: 经典机器学习类别不平衡Hard
⚡闪卡盲测➔掌握度:

代价敏感学习如何实现?与重采样的关系

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-076 →
📐 核心数学机理公式
L=−∑iwyilog⁡pyi\mathcal L=-\sum_i w_{y_i}\log p_{y_i}
⚡ 一句话直击要害答案
在损失中给不同类别不同权重;等价于按权重重采样(近似),但更稳定且不改变数据分布。

📌 核心要点提炼

  • •
    类权重 = 重采样比例的近似
  • •
    Focal loss 进一步降低易样本权重

📐 数学机理与严密推导

代价敏感的实现:在损失函数中给每个样本按其类别加权,L=−Σᵢw_{yᵢ}·ℓ(yᵢ,ŷᵢ),其中 w_c 通常取 N/(K·N_c)(N 为总样本数、K 为类别数、N_c 为类别 c 的样本数)使各类的总权重相等。与重采样的等价性:对少数类样本重复采样(过采样)r 倍,等价于在损失中给该样本权重 r——两者都提高少数类的总损失贡献。但两者不完全等价:① 数据分布——重采样改变了经验分布(过采样使少数类占比上升),而类权重保持原始分布(只是调整损失权重);这影响模型的校准(重采样后的模型概率偏向少数类,需重新校准)与方差(过采样引入重复样本的相关性)。② 稳定性——类权重不引入重复样本,方差更小、训练更稳定。③ 计算成本——重采样改变了有效样本数(影响训练时间与 batch 组成),类权重不改变。因此实践中优先用类权重。

🏭 深度剖析与工业落地权衡

扩展与要点:① Focal Loss——ℓ_FL=−α(1−p_t)^γ log p_t,其中 (1−p_t)^γ 降低'易分类样本'的权重(p_t 大则权重小),使模型聚焦难样本。它同时处理了类别不平衡(α 平衡类间)与难易样本不平衡(γ 聚焦难样本),是目标检测(RetinaNet)的核心。② 代价矩阵的一般形式——若不同误判有不同代价(而非只按类别),可直接在损失中用代价矩阵 C_{ij}(把 i 判为 j 的代价)加权,这是最一般的代价敏感学习。③ 类权重 vs 重采样的选择——数据量充足时用类权重(稳定);数据极少时重采样(尤其过采样)可能更有效(因为增加了实际样本的多样性,尽管是合成的)。④ 校准问题——代价敏感训练后模型的输出概率不再反映真实频率(因为损失被重新加权),若需概率解释应先校准(或用'先验校正'公式调整)。⑤ 与阈值调整的关系——代价敏感改变模型参数,阈值调整改变决策规则;两者可结合(先代价敏感训练,再按验证集调阈值)。⑥ 评估——用代价加权的指标(如期望代价)而非 accuracy 评估。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    认为类权重与重采样完全等价(校准与方差不同)
  • ✕
    代价敏感训练后不校准就把概率当真实频率
🎯 面试官连环追问与延伸考察
  • ?
    Focal loss 为什么对不平衡有效?
  • ?
    类权重与重采样何时不等价?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-074: 如何选择分类阈值?不同业务目标下的策略📋 返回题库下一题 →M2-076: 缺失值的三种机制是什么?分别该如何处理