Class Imbalance Learning: 解释不平衡场景下的监控与上线后评估要点。

Core Concept: 监控正类比例漂移、分群性能、校准质量与业务指标；不平衡使离线指标易失真。

四个监控维度：① <strong>正类比例（π）的漂移</strong>——π 是模型行为的<strong>关键参数</strong>：它决定最优阈值（若 π 从 1% 升到 5%，固定阈值会大幅改变精确率/召回率）、影响损失的最优权重、也影响业务指标的口径。应持续监控 π 的时间序列，并设置告警（如偏离历史均值 2 个标准差）。② <strong>性能指标的分层监控</strong>——不平衡下<strong>整体指标会被多数类主导</strong>（如整体 AUC 高但少数类召回极低）；应监控 (a) 少数类的 Recall/Precision；(b) <strong>PR-AUC</strong>；(c) <strong>固定 Precision 下的 Recall</strong>（业务可执行的指标）；(d) <strong>按分群</strong>（用户等级、地区、品类）的性能，防止'整体达标但某群体失效'（公平性问题）。③ <strong>校准质量</strong>——不平衡下模型常过度自信；应监控可靠性图/ECE/Brier score，并定期重校准（Platt/isotonic 在最新数据上重拟合）。④ <strong>业务指标</strong>——最终判据是业务结果（如欺诈损失、人工复核量、客户投诉），需与模型指标建立映射（如'召回提升 5% 带来多少损失下降'）。

实践要点：① <strong>阈值必须动态调整</strong>——固定阈值在 π 变化后失效；应按<strong>预测分数的分位数</strong>设阈值（如取 top 1% 为预警），或用<strong>代价敏感的最优阈值</strong>公式随 π 更新；建议把阈值作为<strong>配置项</strong>可快速调整，而非硬编码。② <strong>检测不平衡加剧</strong>——监控 π、预测分数的分布（PSI/KS）、以及'预测为正的比例'（若模型预测的正类比例与实际 π 严重偏离，说明校准或阈值失效）。③ <strong>标签延迟的处理</strong>——欺诈/退货类标签延迟数天至数周，无法实时计算性能；应使用<strong>代理指标</strong>（预测分数分布、置信度、规则命中率）并做<strong>延迟回填</strong>评估；同时监控'疑似漏判'的信号（如事后发现的欺诈中有多少未被模型标记）。④ <strong>反馈回路</strong>——若模型的决策影响后续数据（如被标记的欺诈被拦截，因此不会产生新的欺诈标签），会形成<strong>选择性偏差</strong>；应保留一部分<strong>随机放行</strong>（探索）以持续获取无偏标签。⑤ <strong>重训练触发</strong>——当 π 漂移显著、PR-AUC 下降超阈值、或校准失效时触发重训练；重训练时注意<strong>类权重需按新的 π 重新计算</strong>。⑥ <strong>报告与治理</strong>——应定期报告少数类性能、分群差异、阈值调整记录，满足合规与审计要求（尤其金融/医疗场景）。