M8-038M8: ML Systems, Engineering & ResearchMonitoring & Drift DetectionEasy
Mastery:
Monitoring & Drift Detection: 列举漂移检测的常用方法。
📐 Mathematical Definition
⚡ Executive Summary
Core Concept: 单变量(PSI/KL/KS/卡方)、多变量(分类器两样本检验)、性能监控、以及'不确定性/置信度'的监控。
📌 Key Takeaways
- •单变量:PSI、KL 散度、KS 检验、卡方(分类特征)
- •多变量:分类器两样本检验(AUC 高则漂移)
- •性能/代理:AUC 变化、置信度/不确定性、业务指标
📐 Mathematical Derivations
数学机理:<strong>漂移检测的常用方法</strong>——(1) <strong>单变量方法</strong>——(a) <strong>PSI(Population Stability Index)</strong>——PSI=Σ(p_i−q_i)·ln(p_i/q_i)(p 为'基准分布'的各桶比例、q 为'当前分布');<strong>阈值</strong>——(i) PSI<0.1(无显著漂移);(ii) 0.1~0.25(中等);(iii) >0.25(显著漂移);<strong>优点</strong>——直观、可解释(每个特征的 PSI);(b) <strong>KL 散度</strong>(不对称);(c) <strong>KS 检验</strong>(连续分布——最大累积差异);(d) <strong>卡方检验</strong>(分类特征);(e) <strong>Wasserstein 距离</strong>(有'物理意义');(f) <strong>统计量监控</strong>(均值/方差/分位数/基数——简单)。(2) <strong>多变量方法</strong>——(a) <strong>分类器两样本检验(classifier two-sample test)</strong>——(i) 做法——训练一个分类器区分'训练分布'与'当前分布'(用'数据来源'作为标签);(ii) 判据——若 AUC 显著 > 0.5(如 > 0.7)则说明'两个分布可分'(有漂移);(iii) <strong>优点</strong>——能捕捉'单变量看不出但联合分布变了'的漂移;(iv) 特征重要性可指出'哪个特征贡献了漂移';(b) <strong>PCA/降维后比较</strong>;(c) <strong>密度比估计</strong>(直接估计 p_new(x)/p_train(x)——也是重要性加权的权重)。(3) <strong>性能监控</strong>——(a) <strong>有标签</strong>——直接监控 AUC/准确率/业务指标(<strong>最直接</strong>);(b) <strong>无标签</strong>——(i) <strong>代理指标</strong>(如'点击率'代理'满意度');(ii) <strong>置信度分布</strong>(模型预测的置信度变化);(iii) <strong>不确定性/熵</strong>(预测熵上升 → 可能漂移);(iv) <strong>一致性检查</strong>(如'同一用户的连续预测是否稳定');(v) <strong>'输入-输出'的关系</strong>(如'预测分布的偏移')。(4) <strong>专用方法</strong>——(a) <strong>DDM(Drift Detection Method)</strong>(在线学习——监控错误率的统计过程控制);(b) <strong>ADWIN</strong>(自适应窗口——检测分布变化);(c) <strong>Page-Hinkley</strong>(变化点检测);(d) <strong>CUSUM</strong>(累积和)。(5) <strong>实践要点</strong>——(a) <strong>基准的选择</strong>(用'训练数据'还是'上期数据'——影响灵敏度);(b) <strong>采样与分桶</strong>(连续特征需分桶算 PSI);(c) <strong>多特征的聚合</strong>('多少特征漂移了'——而非单个);(d) <strong>告警阈值</strong>(避免噪声告警——见告警设计题);(e) <strong>漂移 ≠ 有害</strong>(需结合性能);(f) <strong>根因分析</strong>(漂移的来源——上游数据变化/用户行为/系统 bug)。<strong>与其他问题的关系</strong>——(a) 与'数据漂移 vs 概念漂移'(上一题);(b) 与'监控体系分层'(下一题);(c) 与'告警设计'。<strong>实践建议</strong>——(a) <strong>单变量(PSI/KS)+ 多变量(分类器检验)</strong> 组合;(b) <strong>性能监控</strong>(有标签时最直接);(c) <strong>无标签时用代理/置信度</strong>;(d) <strong>基准选择与阈值调优</strong>(避免噪声);(e) <strong>根因分析</strong>(定位漂移来源);(f) <strong>漂移 → 行动</strong>(重训/告警)。<strong>度量</strong>——(a) 各特征的 PSI/KL;(b) 分类器检验的 AUC;(c) 性能指标的变化;(d) 检测延迟与误报率。
🏭 Production Trade-offs
深度剖析与工程权衡:① <strong>'单变量不够'</strong>——联合分布可能变了但单变量看不出;故需多变量方法;面试中能指出是深度理解的标志。② <strong>'分类器两样本检验'很实用</strong>——能捕捉复杂漂移且可解释(特征重要性)。③ <strong>'PSI 阈值 0.1/0.25'是经验值</strong>——需按场景调。④ <strong>'漂移 ≠ 有害'</strong>——需结合性能判断。⑤ <strong>'无标签时的检测'是难点</strong>——用代理/置信度/不确定性。⑥ <strong>面试要点</strong>——被问'怎么检测漂移',应给出'<strong>单变量(PSI/KS/卡方)+ 多变量(分类器检验)+ 性能/代理 + 专用方法(DDM/ADWIN)+ 基准与阈值 + 根因分析</strong>';能指出'单变量不够'是深度理解的标志。
⚠️ Common Interview Pitfalls
- ✕只用单变量检测(漏掉联合漂移)
- ✕不调阈值导致告警噪声大
🎯 Interviewer Follow-ups
- ?PSI 的常见阈值?
- ?为什么'单变量'不够?
📚
Associated Knowledge Base Guides & Mindmaps
Explore the comprehensive technical article, exam cards, and global architecture tree.