离线线上指标鸿沟与 A/B 验证

离线与线上指标鸿沟排查与 A/B 实验验证体系 (Offline-Online Metric Gap Root-Cause & A/B Validation Architecture) 是解决工业级机器学习模型“离线 AUC 显著提升但线上真实商业 KPI（转化率、GMV、留存率）不升反降”这一最令人头疼的核心工程难题的方法论；离线线上鸿沟的核心根因：1) 离在线特征不一致 (Train-Serving Skew / 特征穿越)；2) 离线指标与商业目标不一致（如 AUC 只关心相对序，但广告计费需要精准的绝对值，推荐更依赖多目标与多样性）；3) 位置偏置与曝光未点击偏差 (Position Bias)；4) 数据反馈循环与幸存者偏差 (Feedback Loop)；解决体系：严格实施双盲 A/B 测试、交替实验 (Interleaving 灵敏度提升 100 倍)、GAUC 分组评估、保序回归概率校准与因果推断反事实评估 (Counterfactual Offline Evaluation)。

推荐与搜索模型上线前的准入评审、A/B 实验效果不符合离线预期的排障分析、模型商业化决策。

算法团队花费数月优化离线指标却无法转化为线上真金白银的商业增长；本体系提供了系统化的鸿沟排查清单与严密的在线因果验证标准。

系统化列出导致“离线 AUC 涨但线上业务指标跌”的五大根因排查清单与针对性解决方案？

为什么在推荐系统中必须使用 GAUC (Group AUC: 按用户分组加权 AUC) 替代全局 AUC 以消除跨用户活跃度偏置？

反事实离线评估 (Counterfactual Offline Evaluation) 中的逆倾向得分加权 (Inverse Propensity Scoring, IPS: $\hat{R}_{\text{IPS}} = \frac{1}{N} \sum \frac{Y_i P_{\text{new}}(A_i|X_i)}{P_{\text{old}}(A_i|X_i)}$) 原理？

Interleaving (交替实验) 相比标准 A/B 测试在快速筛选淘汰弱模型中的样本量与时间效率优势？

新颖性效应 (Novelty Effect) 与慢炖效应 (Slow Cooker Effect) 在长期 A/B 实验中的观测周期设定与指标平稳性判断？