M2-081M2: 经典机器学习模型校准Easy
⚡闪卡盲测➔掌握度:
定义模型校准,并解释为什么高准确率不等于好校准
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
校准指预测概率与真实频率一致;准确率高但概率系统性偏大/偏小仍是不校准。
📌 核心要点提炼
- •可靠性图(reliability diagram)用于诊断
- •ECE 是常用汇总指标
📐 数学机理与严密推导
校准的定义:若模型预测概率为 p 的样本中,真实正类比例为 p,则模型在该点校准(E[Y|p̂=p]=p)。诊断工具是可靠性图(reliability diagram):把预测概率分箱(如 10 个等宽箱),每箱画'平均预测概率'(横轴)vs'实际正类比例'(纵轴);理想情况是对角线。若曲线在对角线下方,说明模型过度自信(预测 0.9 但实际只有 0.7);在上方则信心不足。为什么准确率高 ≠ 校准好:准确率只关心 argmax 是否正确(排序的极端部分),而校准关心所有概率值与真实频率的一致性。例如一个模型可能把所有样本都预测为 0.99 或 0.01(准确率极高),但当它说 0.99 时实际只有 0.8 的准确率——这就是不校准。典型不校准的模型:① 深度网络——普遍过度自信(尤其大模型、少样本);② SVM——不输出概率,Platt scaling 后的概率也常有偏;③ 朴素贝叶斯——严重过度自信(条件独立假设违背导致概率被推向 0/1);④ AdaBoost——可能信心不足。
🏭 深度剖析与工业落地权衡
实践要点:① 为什么校准重要——当概率被下游使用时(医疗风险评分、金融定价、广告出价、级联系统的阈值决策、预算分配),需要真实概率才能正确计算期望代价;若只用于排序(推荐、搜索),校准非必需(单调性足够)。② 校准方法——Platt scaling(拟合 sigmoid,参数少、需较少数据)、Isotonic regression(拟合单调阶梯,更灵活但易过拟合、需更多数据)、温度缩放(深度网络,单参数、在 logits 上除以 T);三者都需在独立验证集上拟合(不能与训练集重叠)。③ ECE 的局限——期望校准误差 ECE=Σ(|B_b|/n)|acc(B_b)−conf(B_b)| 依赖分箱数与样本量,小样本下不可靠;替代指标有 MCE(最大校准误差)、Brier score(同时衡量校准与锐度)、calibration slope/intercept。④ 锐度与校准的权衡——一个把所有样本预测为 0.5 的模型完全校准但无信息(低锐度);好的模型应既校准又锐利(概率集中在正确的值附近)。⑤ 校准会随分布漂移失效——线上分布变化后需重新校准。
⚠️ 常见面试陷阱与高频失分点
- ✕把准确率高当作校准好的证据
- ✕在校准器拟合时使用训练集(过拟合)
🎯 面试官连环追问与延伸考察
- ?哪些模型天生校准差?(SVM、朴素贝叶斯、深网)
- ?如何画可靠性图?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!