Offline Evaluation & OPE: 解释离线评估与在线 A/B 的相关性验证。

Core Concept: OPE/离线指标需与'在线 A/B 结果'相关才有意义；用历史 A/B 数据验证相关性（相关系数、排序一致性）。

数学机理：<strong>为什么需要验证相关性</strong>——(1) <strong>离线评估的目的是'预测在线表现'</strong>——若 OPE 的估计与在线 A/B 的结果<strong>不相关</strong>，则'离线优化'毫无意义（优化的方向是错的）；(2) <strong>离线与在线不一致的常见原因</strong>——(a) 特征偏斜；(b) 位置偏置（离线数据有偏）；(c) 目标错配；(d) 支持集不匹配；(e) 长期效应不可测。<strong>验证方法</strong>——(1) <strong>收集'（离线估计，在线结果）'对</strong>——(a) 用<strong>历史 A/B 实验</strong>：每个实验有'离线指标'与'在线指标'；(b) 或<strong>专门设计实验</strong>（如多个策略变体，各自做离线评估 + 在线 A/B）；(c) <strong>样本量</strong>——需足够多的实验（如 20~50 个）才能可靠估计相关性。(2) <strong>指标</strong>——(a) <strong>相关系数</strong>（Pearson/Spearman）——离线指标与在线指标的相关性；(b) <strong>排序一致性（rank correlation / Kendall's τ）</strong>——<strong>'离线认为 A 比 B 好，在线是否也认为 A 比 B 好'</strong>；<strong>关键</strong>——(i) <strong>排序一致性比绝对值的相关系数更重要</strong>（因为决策是'选哪个策略'，而非'预测具体提升多少'）；(ii) 若排序一致但绝对值有偏（系统性偏移），仍可用（只需'相对比较'）；(c) <strong>符号一致率</strong>（离线提升为正、在线也提升为正的比例）；(d) <strong>top-k 命中率</strong>（离线选出的最优策略是否也是在线的最优）。(3) <strong>验证的用途</strong>——(a) <strong>筛选离线指标</strong>（选'与在线最相关'的指标）；(b) <strong>调参</strong>（如截断阈值 M、DR 的模型）；(c) <strong>设定置信度</strong>（若相关性高则可更信离线）；(d) <strong>诊断</strong>（若相关性低则需找原因）。<strong>为什么'排序一致性'更重要</strong>——(a) 决策是'二选一'（上线/不上线、A 还是 B）；(b) 离线指标的'绝对值'常有系统偏差（如整体高估），但'相对排序'可能仍正确；(c) 故'排序一致'即可支撑决策。<strong>与其他问题的关系</strong>——(a) 与'离线-在线不一致'（LTR 题）；(b) 与'OPE 的适用条件'（下一题）；(c) 与'多重比较'（验证多个指标时的校正）。<strong>实践建议</strong>——(a) <strong>建立'离线-在线'的验证流程</strong>（用历史 A/B 数据）；(b) <strong>重点看排序一致性</strong>（而非绝对值）；(c) <strong>样本量要够</strong>（20+ 实验）；(d) <strong>若不相关 → 修正离线指标</strong>（去偏/换指标）；(e) <strong>离线只做粗筛</strong>（最终靠 A/B）；(f) <strong>定期重验证</strong>（数据/策略变化后）。<strong>度量</strong>——(a) 相关系数（Pearson/Spearman）；(b) 排序一致性（Kendall's τ）；(c) 符号一致率；(d) top-k 命中率。

深度剖析与工程权衡：① <strong>'排序一致性比绝对值更重要'是关键</strong>——因为决策是'相对比较'；面试中能指出这一点是深度理解的标志。② <strong>'用历史 A/B 验证'是标准流程</strong>——需足够多的实验（20+）。③ <strong>'若不相关则离线优化无意义'</strong>——这是离线评估体系的核心纪律。④ <strong>'系统性偏差可接受、排序错不可接受'</strong>——离线指标可以'整体高估'（只要排序对）；但排序错则无用。⑤ <strong>'定期重验证'</strong>——数据/策略变化后相关性可能改变。⑥ <strong>面试要点</strong>——被问'离线指标可信吗'，应给出'<strong>验证相关性（用历史 A/B）+ 重点看排序一致性 + 样本量 + 不相关则修正 + 定期重验证</strong>'；能指出'排序一致性比绝对值重要'是深度理解的标志。