Model Calibration: 比较 Platt scaling 与 Isotonic regression。

Core Concept: Platt 拟合 sigmoid（参数少、需较少数据）；Isotonic 拟合单调阶梯（更灵活但易过拟合）。

<strong>Platt scaling</strong> 的构造：把模型的原始输出（如 SVM 的决策值或逻辑回归的 logit）作为自变量，用<strong>逻辑回归</strong>拟合真实标签，即 p̂'=σ(a·s+b)，其中 a、b 由极大似然在验证集上估计。特点：① <strong>参数少</strong>（仅 2 个）→ 需较少数据（几百样本即可）、不易过拟合；② 假设校准曲线是 <strong>sigmoid 形状</strong>（单调 S 形）→ 若真实校准曲线形状更复杂（如非单调、多段），Platt 会欠拟合；③ 通常也<strong>改善了排序</strong>（虽然理论上单调变换不改变排序，但有限数据下拟合会微调）。<strong>Isotonic regression</strong> 的构造：拟合一个<strong>单调非减的阶梯函数</strong>，使 p̂' 与真实标签的平方误差最小（用 PAVA 算法求解）。特点：① <strong>无参数假设</strong>（只要求单调）→ 更灵活、能拟合任意单调校准曲线；② <strong>易过拟合</strong>（阶梯函数在数据少时会'记忆'噪声）→ 需更多数据（建议 >1000 样本）；③ 输出是<strong>分段常数</strong>（有平台区），可能不够平滑。

选择与要点：① <strong>数据量决定选择</strong>——小样本（<1000）用 Platt（参数少、稳）；大样本用 Isotonic（更灵活）；实践中常用<strong>交叉验证</strong>比较两者在验证集上的 ECE/Brier score。② <strong>校准器需独立数据</strong>——若用训练集拟合校准器，会因模型在训练集上过拟合（预测过于自信）而使校准器学到错误的映射（把过自信纠正到'训练集上的正确'），在测试集上失效；正确做法是<strong>划分独立的校准集</strong>（或用交叉验证的 out-of-fold 预测）。③ <strong>多分类的校准</strong>——Platt 可扩展到一对多（每类一个校准器）；Isotonic 也可逐类做，但需保证概率和为 1（常需再归一化）。④ <strong>深度网络偏好温度缩放</strong>——温度缩放（在 softmax 前除以 T）只需 1 个参数、不改变预测类别、对深度网络效果极好，是深度学习的标准校准方法（Hinton 的蒸馏工作即用它）。⑤ <strong>校准与排序的区分</strong>——校准是单调变换（理论不改变排序），但<strong>有限数据下拟合会引入噪声</strong>，可能略微改变排序；若任务只需排序，校准非必需。⑥ <strong>评估</strong>——用 ECE、Brier score、NLL（负对数似然）评估校准效果，而非 accuracy。