M2-084M2: 经典机器学习模型校准Medium
⚡闪卡盲测➔掌握度:

温度缩放(temperature scaling)如何校准深度网络?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M2-085 →
📐 核心数学机理公式
p^=softmax(z/T)\hat p=\mathrm{softmax}(z/T)
⚡ 一句话直击要害答案
在 logits 上除以温度 T,用验证集拟合 T;不改预测类别,只调整置信度。

📌 核心要点提炼

  • •
    现代深度网络普遍过度自信(T>1)
  • •
    单参数、几乎不损精度

📐 数学机理与严密推导

温度缩放的机制:深度网络的 softmax 输出为 p̂=softmax(z),其中 z 是 logits。温度缩放引入参数 T>0:p̂'=softmax(z/T)。当 T>1 时,分布变得更平坦(降低最大概率、抬高其他概率)→ 缓解过度自信;T<1 则更尖锐。关键性质:① 不改变预测类别——因为 argmax(z/T)=argmax(z)(除以正数不改变排序),故准确率不变(或几乎不变);② 单参数——只需在验证集上最小化 NLL 拟合一个 T,计算极便宜、不易过拟合;③ 改善 NLL 与 ECE——实验表明温度缩放能显著降低深度网络的 ECE(如从 10% 降到 2%)。为什么深网过度自信:与训练目标(交叉熵)在过参数化模型上的行为有关——模型会把 logits 的尺度推得很大以降低训练损失,而 NLL 对'自信但错误'的惩罚在训练集上被最小化后,泛化到测试集时表现为过度自信;此外现代训练技巧(BN、大 batch、强数据)都会加剧过度自信。

🏭 深度剖析与工业落地权衡

实践要点:① T 的拟合——在独立验证集上最小化 NLL(等价于最大化校准后的似然);可用 LBFGS 或简单网格搜索(T 通常落在 1–3)。② 与知识蒸馏的区别——蒸馏中的温度 T 用于软化教师的输出(让学生学到类间相似性),是训练时用的;校准的温度用于修正已训练模型的置信度,是后处理;两者数学形式相同但目的不同(蒸馏的 T 常取 3–20,校准的 T 通常 <3)。③ 与其他校准方法的对比——Platt scaling 在校准 sigmoid 后可能改变排序(多参数),温度缩放严格保持排序(单参数);Isotonic 更灵活但过拟合风险大;实践中温度缩放是深度网络的默认首选。④ 局限——温度缩放只做全局缩放(所有样本同一 T),若模型的过度自信程度随样本变化(如难样本更过度自信),需更精细的方法(如输入相关的温度、直方图分箱、或 Mixup 等训练时正则化,后者同时改善泛化与校准)。⑤ 分布漂移下失效——线上分布变化后 T 需重新拟合。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    用训练集拟合温度(应使用独立验证集)
  • ✕
    认为温度缩放能提升准确率(它只改校准)
🎯 面试官连环追问与延伸考察
  • ?
    为什么深网会过度自信?
  • ?
    T 与知识蒸馏中的温度关系?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M2-083: 解释 ECE(期望校准误差)的计算与局限📋 返回题库下一题 →M2-085: 校准在哪些场景至关重要?举两个例子