Monitoring & Drift Detection: 解释模型退化的根因分析方法。

Core Concept: 分层排查：先确认'是否真退化'（指标/口径）→ 数据（漂移/管道）→ 模型（版本/特征）→ 服务（延迟/降级）→ 外部（季节/事件）。

数学机理：<strong>模型退化的根因分析（RCA）</strong>——(1) <strong>第一步：确认'是否真退化'</strong>——(a) <strong>指标口径</strong>（是否改了统计口径/分母？）；(b) <strong>样本变化</strong>（是否'某类流量'变了导致整体指标变化？）；(c) <strong>分群</strong>（整体退化还是'某个群体'退化？）；(d) <strong>显著性</strong>（变化是否显著——还是噪声？）；<strong>关键</strong>——<strong>很多'退化'其实是'口径/样本'问题</strong>（而非模型问题）。(2) <strong>第二步：数据侧</strong>——(a) <strong>数据漂移</strong>（输入分布变了——PSI/KL）；(b) <strong>数据管道故障</strong>（上游数据缺失/延迟/错误——见数据质量）；(c) <strong>特征异常</strong>（某特征的空值率/分布突变）；(d) <strong>标签延迟/错误</strong>（标签质量下降）；(e) <strong>'训练-服务偏移'</strong>（离线与线上特征不一致）；(f) <strong>'数据泄漏'消失</strong>（离线时'作弊'的特征在线上不可用）。(3) <strong>第三步：模型侧</strong>——(a) <strong>版本变更</strong>（最近是否上线了新模型/新特征？）；(b) <strong>特征重要性变化</strong>（某特征的行为变了）；(c) <strong>'模型过期'</strong>（概念漂移——P(Y|X) 变了）；(d) <strong>'阈值/参数'变更</strong>（决策阈值变了）；(e) <strong>'多模型'</strong>（ensemble 中某成员退化）。(4) <strong>第四步：服务侧</strong>——(a) <strong>延迟上升</strong>（导致超时/降级 → 效果变差）；(b) <strong>降级触发</strong>（走了降级路径 → 效果变差）；(c) <strong>缓存失效</strong>（缓存命中率下降）；(d) <strong>依赖故障</strong>（下游服务/特征存储故障）；(e) <strong>超时/重试</strong>（影响结果）。(5) <strong>第五步：外部</strong>——(a) <strong>季节性</strong>（如'双 11'的流量与行为不同）；(b) <strong>事件</strong>（热点新闻/政策变化）；(c) <strong>竞品</strong>（竞品活动）；(d) <strong>用户群体变化</strong>（获客渠道变化）；(e) <strong>'系统性的行为变化'</strong>（如'疫情期间的消费行为'）。<strong>分析工具</strong>——(a) <strong>时间对齐</strong>（把'退化开始的时间'与'变更的时间'对齐——<strong>最有效</strong>）；(b) <strong>A/B 对比</strong>（新旧模型并行）；(c) <strong>影子流量</strong>（对比输出差异）；(d) <strong>分群分析</strong>（定位'哪些群体受影响'）；(e) <strong>特征归因</strong>（SHAP/特征重要性）；(f) <strong>回滚验证</strong>（回滚到旧版本是否恢复——<strong>最直接的验证</strong>）。<strong>常见根因（按频率）</strong>——(a) <strong>数据管道问题</strong>（最常见）；(b) <strong>上游数据变化</strong>（源系统改字段/口径）；(c) <strong>特征不一致</strong>（训练-服务偏移）；(d) <strong>概念漂移</strong>（真实世界的规律变了）；(e) <strong>服务降级</strong>（延迟导致的降级）；(f) <strong>口径/样本变化</strong>（假退化）。<strong>与其他问题的关系</strong>——(a) 与'漂移检测'（数据侧）；(b) 与'数据质量'（管道故障）；(c) 与'可靠性与降级'（服务侧）。<strong>实践建议</strong>——(a) <strong>先确认'是否真退化'</strong>（口径/样本/分群）；(b) <strong>时间对齐</strong>（变更 vs 退化开始）；(c) <strong>分层排查</strong>（数据→模型→服务→外部）；(d) <strong>回滚验证</strong>（最直接）；(e) <strong>分群分析</strong>（定位受影响群体）；(f) <strong>记录'变更日志'</strong>（便于对齐）。<strong>度量</strong>——(a) 根因定位时间（MTTR）；(b) 根因分布（哪类最常见）；(c) 修复后的指标恢复；(d) 复发率。

深度剖析与工程权衡：① <strong>'先确认是否真退化'</strong>——很多'退化'是口径/样本问题；面试中能指出是深度理解的标志。② <strong>'时间对齐'最有效</strong>——把'变更时间'与'退化开始时间'对齐（故需'变更日志'）。③ <strong>'回滚验证'最直接</strong>——回滚后恢复则确认是最近变更引起。④ <strong>'数据管道问题最常见'</strong>——故数据侧优先排查。⑤ <strong>'分群分析'定位受影响群体</strong>——整体指标可能掩盖。⑥ <strong>面试要点</strong>——被问'模型效果突然变差怎么办'，应给出'<strong>先确认是否真退化（口径/样本/分群）→ 数据侧 → 模型侧 → 服务侧 → 外部 + 时间对齐 + 回滚验证</strong>'；能指出'先确认是否真退化'是深度理解的标志。