M7-092M7: 检索、排序与推荐系统离线评估与 OPEHard
⚡闪卡盲测➔掌握度:
解释 OPE 在推荐/广告中的实践流程
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
标准流程:明确目标与假设 → 收集数据(含随机化)→ 训练倾向/模型 → 估计 + CI → 与历史 A/B 验证 → 离线粗筛 → A/B 定胜负。
📌 核心要点提炼
- •明确目标(策略、指标、假设)
- •数据:历史日志(含倾向)+ 小流量随机化数据
- •训练倾向模型与奖励模型;估计 + CI + ESS
- •与历史 A/B 验证相关性;离线只做粗筛
📐 数学机理与严密推导
数学机理:OPE 的实践流程(七步)——(1) 明确目标与假设——(a) 评估什么策略(π_new 的定义);(b) 什么指标(奖励的定义——点击/转化/时长);(c) 什么假设(无混淆/正性/SUTVA);(d) 决策用途('选 A 还是 B');关键——假设必须明确(否则结论不可靠)。(2) 收集数据——(a) 历史日志——记录(上下文 x、动作 a、奖励 r、倾向 π_old);注意——(i) 若历史日志未记录倾向,需用模型估计(引入误差);(ii) 记录'位置'等混淆变量;(b) 小流量随机化数据——用随机策略收集一部分数据(金标准);(c) 作用——随机化数据同时解决'混淆'与'正性'问题。(3) 训练倾向模型——(a) 用历史数据训练 π̂_old(a|x)(预测'旧策略展示各动作的概率');(b) 诊断——AUC/校准/ESS;(c) 注意——倾向模型不准则 IPS 有偏。(4) 训练奖励模型(DR 需要)——(a) 用历史数据训练 r̂(x,a);(b) 诊断——预测误差。(5) 估计 + 不确定性——(a) 计算 OPE 估计(IPS/SNIPS/DR);(b) CI(bootstrap/解析);(c) ESS(诊断可靠性);(d) 敏感性分析(未观测混淆的影响)。(6) 与历史 A/B 验证——(a) 用历史 A/B 实验的'离线估计 vs 在线结果'验证相关性;(b) 重点看排序一致性;(c) 若相关性低 → 修正(换指标/改假设/加数据)。(7) 离线粗筛 + A/B 定胜负——(a) 离线——从大量候选策略中快速筛出少数(排除明显差的);(b) A/B——对少数候选做在线实验(最终验证);(c) 原因——OPE 有偏(即使验证过),A/B 是唯一可靠的方法。最大的风险点——(a) 正性违反(新策略选新物品);(b) 倾向未记录(估计误差);(c) 混淆未观测(无法验证);(d) 非平稳(历史不代表现在);(e) 过度信任离线(跳过 A/B)。与其他问题的关系——(a) 与'IPS/DR'(估计方法);(b) 与'离线-在线相关性验证';(c) 与'A/B 实验'(在线指标题)。实践建议——(a) 记录倾向(历史日志中);(b) 保留小流量随机化(金标准);(c) 诊断倾向与奖励模型;(d) 报告 CI 与 ESS;(e) 敏感性分析(未观测混淆);(f) 与历史 A/B 验证;(g) 离线只做粗筛、A/B 定胜负。度量——(a) OPE vs A/B 的偏差与排序一致性;(b) ESS/n;(c) CI 宽度;(d) 正性违反率。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '记录倾向'是关键工程要求——若历史日志未记录 π_old,需估计(引入误差);面试中能指出这一点是深度理解的标志。② '小流量随机化数据是金标准'——它同时解决混淆与正性;值得付出体验代价。③ '离线只做粗筛'是纪律——OPE 有偏(即使验证过);A/B 是唯一可靠的。④ '敏感性分析'评估未观测混淆——实用且必需(因为'无混淆'无法验证)。⑤ '整个流程最大风险是正性违反'——新策略选新物品时无法估计。⑥ 面试要点——被问'OPE 怎么落地',应给出'七步流程(目标/数据/倾向/估计/验证/粗筛/A-B)+ 记录倾向 + 小流量随机化 + 报告 CI 与 ESS + 敏感性分析';能指出'离线只做粗筛'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕历史日志不记录倾向(需估计,引入误差)
- ✕过度信任离线结果(跳过 A/B)
🎯 面试官连环追问与延伸考察
- ?为什么需要'小流量随机化数据'?
- ?整个流程最大的风险点?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!