Monitoring & Drift Detection: 解释标签延迟对模型监控的影响。

Core Concept: 标签需时间到达（如'30 天复购'）→ 性能指标滞后；用代理指标、延迟反馈建模、以及'早期信号'缓解。

数学机理：<strong>标签延迟的影响</strong>——(1) <strong>问题</strong>——很多任务的标签<strong>延迟到达</strong>：(a) <strong>转化</strong>（点击后 7~30 天转化）；(b) <strong>留存</strong>（次日/次周才知道）；(c) <strong>欺诈</strong>（chargeback 数周）；(d) <strong>退款/退货</strong>（30 天）；(e) <strong>长期满意度</strong>。<strong>后果</strong>——(a) <strong>性能监控滞后</strong>——'今天的 AUC'需要'30 天后'才能算；故发现问题太晚（模型可能已经错了很久）；(b) <strong>训练滞后</strong>——模型无法用'最新的标签'训练；(c) <strong>A/B 实验</strong>——需等标签到达才能判断（实验周期长）；(d) <strong>归因困难</strong>（标签延迟使'因果归因'更难）。(2) <strong>对策</strong>——(a) <strong>代理指标（proxy metrics）</strong>——(i) 用'更早到达'的相关指标替代（如'加购'代理'购买'、'次日留存'代理'长期留存'）；(ii) <strong>关键</strong>——需验证代理与最终指标的相关性；(b) <strong>延迟反馈建模（delayed feedback modeling）</strong>——(i) <strong>问题</strong>——训练时'延迟的标签还没到'，若把'未转化'当'负样本'会<strong>引入偏差</strong>（实际是'还没转化'）；(ii) <strong>做法</strong>——(1) <strong>'延迟反馈'的显式建模</strong>（如 DFM、ES-DFM——建模'转化延迟的分布'）；(2) <strong>'等待窗口'</strong>（等 N 天后才把'未转化'当负样本——但会丢失最新数据）；(3) <strong>'重要性加权'</strong>（对'还没到标签'的样本加权）；(4) <strong>'多任务'</strong>（一个任务预测'是否转化'、一个预测'转化延迟'）；(iii) <strong>代表</strong>——Criteo 的延迟反馈挑战赛（DFM/ES-DFM 等）；(c) <strong>早期信号</strong>——(i) <strong>输入漂移</strong>（不需标签就能监控——最早）；(ii) <strong>置信度/不确定性</strong>（预测熵）；(iii) <strong>预测分布</strong>（预测分数的分布变化）；(d) <strong>部分标签</strong>（用'已经到达的标签'做近似评估——虽然滞后但可用）；(e) <strong>短期实验</strong>（用'短期指标'作为代理做实验，再长期验证）；(f) <strong>'固定延迟窗口'</strong>（约定'观察 N 天'——统一口径）。(3) <strong>评估的挑战</strong>——(a) <strong>'新数据无标签'</strong>——最近的样本无法评估；(b) <strong>'选择偏差'</strong>——只有'转化了的'才有标签（未转化的'还没到'）；(c) <strong>'时间窗口'的选择</strong>（太短则标签不全、太长则滞后）；(d) <strong>'跨期比较'困难</strong>（不同时期的'标签完整度'不同）。<strong>与其他问题的关系</strong>——(a) 与'概念漂移'（标签延迟使概念漂移更难检测）；(b) 与'LTV 建模'（延迟反馈）；(c) 与'A/B 实验'（长周期）。<strong>实践建议</strong>——(a) <strong>监控'输入漂移 + 置信度'</strong>（无需标签，最早发现）；(b) <strong>代理指标</strong>（需验证相关性）；(c) <strong>延迟反馈建模</strong>（修正训练偏差）；(d) <strong>固定观察窗口</strong>（统一口径）；(e) <strong>部分标签评估</strong>（滞后但可用）；(f) <strong>长期实验</strong>（holdout）。<strong>度量</strong>——(a) 标签到达的时间分布；(b) 代理指标与最终指标的相关性；(c) 检测延迟（从漂移到发现）；(d) 延迟反馈建模的修正效果。

深度剖析与工程权衡：① <strong>'输入漂移 + 置信度'是最早的预警</strong>——不需标签；面试中能指出是深度理解的标志。② <strong>'把未转化当负样本会引入偏差'</strong>——因为'还没转化'≠'不会转化'；需延迟反馈建模。③ <strong>'代理指标需验证相关性'</strong>——否则代理无意义。④ <strong>'固定观察窗口'统一口径</strong>——便于跨期比较。⑤ <strong>'延迟反馈建模'（DFM/ES-DFM）</strong> 是专门的方法——修正训练偏差。⑥ <strong>面试要点</strong>——被问'标签延迟怎么办'，应给出'<strong>代理指标 + 延迟反馈建模（避免把未转化当负样本）+ 早期信号（输入漂移/置信度）+ 固定窗口 + 长期实验</strong>'；能指出'未转化≠负样本'是深度理解的标志。