概率校准

概率校准让模型输出的分数成为真实可解释的概率。Platt 缩放: 对原始得分 $f(x)$ 拟合逻辑回归 $P(y=1|x) = \frac{1}{1+\exp(Af(x)+B)}$,参数 $A$、$B$ 在独立验证集上极大似然估计,适合输出分布单调、呈 S 形失真(如 SVM、GBDT 得分)的模型。Isotonic 回归: 非参数的保序映射,在验证集上拟合单调函数,更灵活但需要更多数据、更容易过拟合。评估工具: Brier 分数 $BS = \frac{1}{N}\sum_{i=1}^{N}(p_i - y_i)^2$(越小越准)与可靠性图(reliability diagram, 按预测概率分桶对比平均预测与真实频率)。

概率数值本身参与决策的业务(信贷审批阈值、风控评分卡、医疗判断)、多模型概率合并、成本敏感决策; 面试常问“校准与 AUC 的关系”“Platt 和 Isotonic 怎么选”“逻辑回归为什么天然校准”。

AUC 只衡量排序能力,不保证概率数值正确——模型可能“预测 0.9 时实际只有 60% 是正类”; Platt/Isotonic 把分数映射为可决策的概率。关键性质: 校准是保序单调映射,因此不改变 AUC,校准好 ≠ 区分好,两者正交,需要分别评估。

写出 Platt 公式 $P(y=1|x) = \frac{1}{1+\exp(Af(x)+B)}$ 并解释 A、B 如何拟合? 它与逻辑回归本质相同吗?

Platt 与 Isotonic 的对比: 各自假设、数据量需求、过拟合风险、适用模型类型?

写出 Brier 分数公式 $BS = \frac{1}{N}\sum (p_i - y_i)^2$; 举例“区分好但校准差”和“校准好但区分差”的模型?

为什么校准不影响 AUC? 保序单调变换如何保持 AUC 不变?

可靠性图怎么看? 为什么逻辑回归输出天然校准、而 SVM/GBDT 需要校准?