学习排序 (LTR): 解释排序模型的线上-离线不一致来源。

Core Concept: 特征偏斜、模型版本、位置偏置、反馈循环、以及'离线指标与在线指标的目标差异'。

数学机理：<strong>离线-线上不一致的四类来源</strong>——(1) <strong>特征偏斜（feature skew）</strong>——离线训练与线上服务的<strong>特征计算不一致</strong>（见训练-服务一致性问题）：(a) 预处理差异；(b) 时间窗差异；(c) 数据源差异；(d) 版本差异。<strong>后果</strong>——模型在线上'看到的输入'与训练时不同。(2) <strong>位置偏置与反馈循环</strong>——离线数据是'历史策略'产生的（<strong>有偏</strong>）：(a) 用户只点击了'被展示'的项（展示偏置）；(b) 靠前的更易被点击（位置偏置）；(c) 历史策略的'选择偏差'（只有某些项被展示过）。<strong>后果</strong>——离线评估高估（因为模型'迎合'历史策略）。(3) <strong>目标差异（objective mismatch）</strong>——(a) 离线用 <strong>NDCG/相关性</strong>，线上用 <strong>CTR/留存/GMV</strong>；(b) 离线指标'代理'不完全等价于在线目标（如 NDCG 高但用户不点击）；(c) 离线无法捕捉'长期效应'与'生态效应'。(4) <strong>环境差异</strong>——(a) <strong>用户的'策略反应'</strong>（用户行为随推荐变化——如推荐系统变好后用户更活跃）；(b) <strong>网络效应/干扰</strong>（用户间影响、内容供给变化）；(c) <strong>季节/事件</strong>（离线数据的时间分布与线上不同）。<strong>缩小差距的手段</strong>——(a) <strong>训练-服务一致性</strong>（共享代码/特征平台/线上回放）——解决特征偏斜；(b) <strong>去偏</strong>（IPS/点击模型/随机化数据）——解决位置偏置；(c) <strong>对齐目标</strong>（用在线指标作为离线指标，或加'在线代理指标'）；(d) <strong>无偏离线评估（OPE）</strong>（见离线评估与 OPE 题）——用 IPS/DR 估计新策略的在线表现；(e) <strong>在线 A/B 作为最终验证</strong>（离线只做'快速筛选'）；(f) <strong>多指标评估</strong>（不只看 NDCG）；(g) <strong>长期实验</strong>（捕捉长期效应）。<strong>为什么'离线提升线上下降'常见</strong>——(a) 特征偏斜（技术问题）；(b) 位置偏置（数据问题）；(c) 目标错配（指标问题）；(d) 过拟合到离线数据。<strong>实践纪律</strong>——(a) <strong>离线指标只做'粗筛'</strong>（排除明显差的）；(b) <strong>必须线上 A/B 验证</strong>（离线提升不代表线上提升）；(c) <strong>离线-在线的相关性需验证</strong>（历史 A/B 结果 vs 离线指标的对比）；(d) <strong>保留'随机化数据'</strong>（做无偏评估）。<strong>度量</strong>——(a) 离线指标（NDCG）与在线指标（CTR/留存）的<strong>相关性</strong>（用历史 A/B 验证）；(b) 线上回放的一致性（特征分数差异）；(c) A/B 的胜率。<strong>实践建议</strong>——(a) <strong>共享特征代码</strong>（防偏斜）；(b) <strong>去偏</strong>（IPS/随机化）；(c) <strong>对齐目标</strong>（在线代理指标）；(d) <strong>离线只做粗筛</strong>（A/B 是最终验证）；(e) <strong>验证离线-在线相关性</strong>；(f) <strong>长期实验</strong>（捕捉长期效应）。<strong>度量</strong>——(a) 离线-在线的相关性（历史 A/B）；(b) 回放一致性；(c) A/B 胜率。

深度剖析与工程权衡：① <strong>'离线提升线上下降'是最常见的失败</strong>——而'特征偏斜 + 位置偏置 + 目标错配'是其三类原因；面试中能系统列举是深度理解的标志。② <strong>'离线只做粗筛、A/B 是最终验证'是纪律</strong>——这是工业界的核心实践。③ <strong>'验证离线-在线相关性'很关键</strong>——若离线指标与在线指标不相关，则离线优化无意义。④ <strong>'位置偏置'使离线评估系统性高估</strong>——故需 OPE/去偏。⑤ <strong>'长期效应'离线无法捕捉</strong>——故需长期实验或代理指标。⑥ <strong>面试要点</strong>——被问'离线好线上差怎么办'，应给出'<strong>四类来源（特征偏斜/位置偏置/目标错配/环境差异）+ 对策（一致性/去偏/对齐目标/OPE/AB/长期实验）</strong>'与'<strong>离线只做粗筛</strong>'；能指出'验证离线-在线相关性'是深度理解的标志。