M7-084M7: 检索、排序与推荐系统离线评估与 OPEEasy
⚡闪卡盲测➔掌握度:
写出 IPS 估计式并解释其方差问题
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
IPS 用'1/倾向'加权历史奖励,得到无偏估计;但倾向很小时权重爆炸 → 方差极大(需截断/自归一化)。
📌 核心要点提炼
- •用 π_new/π_old 的比值加权历史奖励
- •无偏(若 π_old 有正性)
- •方差大:π_old 小时权重爆炸
📐 数学机理与严密推导
数学机理:IPS(Inverse Propensity Scoring) 的推导——(1) 目标——估计新策略 π_new 的期望奖励 V(π_new)=E_{x∼p(x), a∼π_new}[r(x,a)]。(2) 关键恒等式——利用'重要性采样':E_{a∼π_new}[r] = E_{a∼π_old}[(π_new(a|x)/π_old(a|x))·r];为什么——因为 E_{a∼π_old}[w(a)·r] = Σ_a π_old(a|x)·(π_new(a|x)/π_old(a|x))·r(a) = Σ_a π_new(a|x)·r(a) = E_{a∼π_new}[r]。(3) 估计式——V̂_IPS=(1/n)Σ_i [π_new(a_i|x_i)/π_old(a_i|x_i)]·r_i,其中 (x_i, a_i, r_i) 是历史数据(a_i 由 π_old 选择)。(4) 性质——(a) 无偏(若 π_old(a|x)>0 对所有 π_new 可能选的 a);(b) 只需 π_old 已知(不需模型)。(5) 方差问题(核心缺陷)——(a) 权重 w=π_new/π_old;若 π_old(a|x) 很小(该物品很少被旧策略展示),则 w 很大;(b) 后果——(i) 单个样本可能主导估计(方差极大);(ii) 极端情况(π_old→0)权重爆炸(估计不可用);(c) 量化——IPS 的方差 ∝ E[w²],而 w² 在 π_old 小时极大;故'倾向小的样本'是方差的主要来源;(d) 有效样本量——ESS=(Σw)²/Σw²;若 ESS ≪ n,说明'少数样本主导'(估计不可靠)。缓解手段——(1) 权重截断(clipping)——把 w 截断到 [0, M](如 M=10);代价——引入偏差(但方差降低);权衡——M 小则偏差大、M 大则方差大(经典的偏差-方差权衡)。(2) 自归一化(self-normalized IPS,SNIPS)——V̂_SNIPS=Σ(w_i·r_i)/Σw_i;优点——(a) 有界(在 [min r, max r] 内);(b) 对'权重整体缩放'不敏感;(c) 实践中方差更小;缺点——轻微有偏(但'一致性'仍成立)。(3) 混合(shrinkage)——把 w 向 1 收缩(w'=α·w+(1−α)·1);权衡——降低方差但引入偏差。(4) 更好的倾向估计——若 π_old 未知,用模型估计('倾向模型');注意——倾向估计的误差会传播。(5) DR(Doubly Robust)——用模型作为基线(见下一题);优点——(a) 方差更低(因为模型解释了大部分变异);(b) 双重稳健(模型或倾向之一正确即可无偏)。(6) 限制支持集——只在'π_new 与 π_old 都有正概率'的动作集上评估(避免'外推')。与其他问题的关系——(a) 与'IPS 在 LTR 中的去偏'(位置偏置);(b) 与'DR'(下一题);(c) 与'权重截断'(下一题)。实践建议——(a) 用 SNIPS(比原始 IPS 更稳);(b) 权重截断(M=5~20);(c) 监控 ESS(有效样本量);(d) 检查正性(π_old 是否有 0);(e) 优先用 DR(方差更低);(f) 离线只做粗筛。度量——(a) OPE 估计 vs 在线 A/B(偏差);(b) ESS;(c) 权重的分布(最大权重);(d) 截断阈值的影响。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'IPS 无偏但方差大'是核心权衡——故需截断/自归一化;面试中能写出 IPS 公式并解释方差来源是深度理解的标志。② 'ESS 是实用诊断——ESS ≪ n 说明估计不可靠。③ 'SNIPS 有界且更稳'——实践中常用;虽有轻微偏差但方差优势明显。④ '权重截断是偏差-方差权衡'——M 小则偏差大、M 大则方差大。⑤ '正性假设'是 IPS 的前提——π_old 为 0 的动作无法估计(外推失败)。⑥ 面试要点——被问'IPS 是什么',应写出估计式 + 无偏性推导(重要性采样)+ 方差问题(权重爆炸)+ 缓解(截断/SNIPS/DR);能指出'ESS 诊断'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕用原始 IPS 不截断(方差爆炸)
- ✕不检查正性(π_old 为 0 时外推失败)
🎯 面试官连环追问与延伸考察
- ?为什么 IPS 是无偏的?
- ?权重截断的偏差-方差权衡?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!