Online Metrics & Guardrails: 解释搜索/推荐中的位置偏置对在线指标的影响。

Core Concept: 位置偏置使'排名提升'自动带来'指标提升'（与相关性无关）；故 A/B 中需注意'位置变化'的混淆。

数学机理：<strong>位置偏置对在线指标的影响</strong>——(1) <strong>机制</strong>——(a) 用户倾向点击<strong>靠前</strong>的结果（注意力/信任）；(b) 故'排名提升'会<strong>自动</strong>带来点击提升（即使相关性没变）；(c) <strong>量化</strong>——前 3 位的点击率可能是第 10 位的数倍。(2) <strong>对 A/B 的影响（混淆）</strong>——(a) 若新策略<strong>改变了排名分布</strong>（如把更多物品排到前面），则指标提升<strong>部分来自'位置'</strong>（而非'相关性更好'）；(b) <strong>后果</strong>——(i) 高估新策略的效果（'只是排得更前'）；(ii) 若新策略'把物品排后'则低估；(c) <strong>典型场景</strong>——(i) 新排序模型改变了分数分布（尺度不同）；(ii) 新策略增加了'展示位置'（如更长的列表）；(iii) 召回变化导致候选分布变化。(3) <strong>对策</strong>——(a) <strong>固定位置实验（position-fixed / interleaving 风格）</strong>——让新老策略的排名'在同一位置对比'；(b) <strong>位置作为协变量</strong>——在分析中调整位置（如'按位置分层的指标'）；(c) <strong>去偏指标</strong>——用'位置去偏的点击率'（把位置的影响剥离）；(d) <strong>'相关性指标'</strong>——用'相关性标注'评估（而非点击）；(e) <strong>交错实验（interleaving）</strong>——把两个策略的结果<strong>交错</strong>在同一列表里，比较'用户更喜欢哪个策略的项'；<strong>优点</strong>——对位置偏置<strong>免疫</strong>（因为两策略的项在同一列表的随机位置）；<strong>缺点</strong>——不适合'整体体验'类指标。(4) <strong>'位置偏置'的其他影响</strong>——(a) <strong>训练数据有偏</strong>（见 LTR 的位置偏置题）；(b) <strong>反馈循环</strong>（排名自我强化）；(c) <strong>冷启动的恶性循环</strong>（新物品排后 → 无数据）。<strong>交错实验（interleaving）的细节</strong>——(a) <strong>做法</strong>——把策略 A 与 B 的结果<strong>混合</strong>（如交替取 A、B 的项），用户点击后判断'点击来自哪个策略'；(b) <strong>优点</strong>——(i) <strong>位置偏置免疫</strong>（两策略项的位置分布相同）；(ii) <strong>样本效率高</strong>（比 A/B 高 10~100 倍，因为每个用户都'同时体验两个策略'）；(c) <strong>缺点</strong>——(i) 只适合'排序质量'比较（不适合'整体体验/长期'）；(ii) 需处理'混合列表的合理性'。<strong>与其他问题的关系</strong>——(a) 与'位置偏置的去偏'（LTR 题）；(b) 与'离线评估'（离线也有位置偏置）；(c) 与'冷启动'（位置偏置加剧冷启动）。<strong>实践建议</strong>——(a) <strong>A/B 中检查'位置分布'是否变化</strong>；(b) <strong>位置作为协变量</strong>（分层分析）；(c) <strong>排序质量比较用交错实验</strong>（对位置免疫）；(d) <strong>去偏指标</strong>；(e) <strong>长期指标</strong>（位置偏置在长期会'自我修正'？——不一定）。<strong>度量</strong>——(a) 位置分布的差异（新老策略）；(b) 按位置分层的指标；(c) 交错实验的'偏好率'；(d) 相关性标注的指标。

深度剖析与工程权衡：① <strong>'排名提升自动带来指标提升'是关键混淆</strong>——A/B 中需注意；面试中能指出这一点是深度理解的标志。② <strong>'交错实验对位置偏置免疫'</strong>——因为两策略项在同一列表的随机位置；且样本效率高。③ <strong>'位置作为协变量'是实用的分析方法</strong>——按位置分层。④ <strong>'去偏指标'</strong>——把位置影响剥离；用于更公平的比较。⑤ <strong>'交错实验只适合排序质量'</strong>——不适合整体体验/长期指标。⑥ <strong>面试要点</strong>——被问'位置偏置如何影响 A/B'，应给出'<strong>排名提升自动带来指标提升（混淆）+ 对策（固定位置/位置协变量/去偏指标/交错实验）</strong>'；能指出'交错实验对位置免疫'是深度理解的标志。