M7-096M7: 检索、排序与推荐系统在线指标与实验Medium
⚡闪卡盲测➔掌握度:
解释网络效应与干扰(Interference)对实验的影响
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
用户间/物品间相互影响(社交、供需、竞争)破坏 SUTVA;需集群随机化、switchback、或预算分割。
📌 核心要点提炼
- •干扰:一个用户的处理影响另一个用户(社交/竞争/供需)
- •后果:A/B 的'处理效应'估计有偏(违反 SUTVA)
- •对策:集群随机化、switchback、预算分割、地理分割
📐 数学机理与严密推导
数学机理:网络效应与干扰(interference)——(1) 定义——A/B 实验假设'一个单元的处理不影响其他单元'(SUTVA);但很多场景违反:(a) 社交网络——'给 A 组推荐某内容 → A 组用户分享给 B 组用户 → B 组也受影响';(b) 供需/市场——'给 A 组展示某商品 → A 组买走库存 → B 组买不到'(市场均衡效应);(c) 竞争/拍卖——'A 组提高出价 → 广告价格上升 → B 组成本上升';(d) 内容生态——'A 组看某创作者 → 该创作者获得更多曝光 → 影响 B 组看到的内容';(e) 共享资源——'A 组消耗算力 → B 组延迟上升'。(2) 后果——(a) 处理效应估计有偏——'A 组的表现'包含了'对 B 组的溢出'(spillover);(b) 方向不确定——溢出可能是正(社交传播)或负(竞争);(c) '稀释'效应——若 A 组占比小,则'对整体的影响'被稀释(但 A/B 只测 A 组 vs B 组);(d) '均衡效应'——大规模上线后的效果 ≠ 小流量实验的效果(因为'市场会调整')。(3) 对策——(a) 集群随机化(cluster randomization)——把'相互影响的单元'分到同一组(如'同一社交圈的用户分到同一组');优点——减少组间干扰;缺点——(i) 需知道'谁与谁相互影响';(ii) 有效样本量下降(因为集群内的单元'不独立')。(b) Switchback 实验——时间上交替(如'第 1 小时用 A、第 2 小时用 B');适用——(i) 市场均衡场景(供需);(ii) 无法按用户分割的场景(如'整个城市的定价');优点——避免'组间干扰'(因为同一时间只有一种处理);缺点——(i) 需处理'时间趋势'(如'早晚高峰');(ii) 样本量受限(时间点数)。(c) 预算/流量分割——(i) 地理分割(不同城市不同策略);(ii) 时间分割;(iii) 随机化单元上移(把'市场'作为单元)。(d) 建模干扰——(a) 显式建模'溢出效应'(如用'邻居的处理状态'作为特征);(b) 用'因果推断的干扰方法'(如'暴露映射')。(e) '小流量 + 大规模'的差异——(i) 小流量实验测'局部效应';(ii) 大规模上线有'均衡效应';(iii) 对策——分阶段放量,观察'效应是否随流量变化'。与其他问题的关系——(a) 与'SUTVA'(OPE 的假设);(b) 与'长期效应'(均衡效应需长期观察);(c) 与'实验平台'(需支持集群/switchback)。实践建议——(a) 先判断是否有干扰(社交/供需/竞争);(b) 有干扰 → 集群随机化或 switchback;(c) 地理/时间分割(市场均衡);(d) 建模溢出(显式);(e) 分阶段放量(观察效应随流量的变化);(f) 报告'有效样本量'(集群随机化会降低)。度量——(a) 溢出效应的估计;(b) 分阶段放量的效应变化;(c) 集群内的相关性(ICC);(d) 有效样本量。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① '干扰违反 SUTVA'是核心——面试中能指出'社交/供需/竞争'三类场景是深度理解的标志。② 'Switchback 适合市场均衡'——时间上交替(同一时间只有一种处理);这是'无法按用户分割'时的解法。③ '集群随机化降低有效样本量'——因为集群内单元不独立(ICC);故需更大样本。④ '均衡效应使小流量与大规模不一致'——需分阶段放量观察。⑤ '建模溢出'是高级手段——显式建模'邻居的处理状态'。⑥ 面试要点——被问'什么场景不能直接 A/B',应给出'社交/供需/竞争三类干扰 + 对策(集群随机化/switchback/地理分割/建模溢出)+ 分阶段放量';能指出'Switchback 适合市场均衡'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕在强干扰场景直接按用户随机(估计有偏)
- ✕小流量实验的效应直接外推到全量(均衡效应)
🎯 面试官连环追问与延伸考察
- ?哪些场景有强干扰?
- ?什么是 switchback 实验?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!