M3-015Hard干涉与替代设计 · Interference & designs🔥 大厂高频出现 2 次
地理实验(geo experiment)怎么设计?功效怎么算?
How do you design a geo experiment, and how is power computed?
💡 考场高分一句话答案:
按地理单元(DMA/城市/国家)随机分配处理,用 DiD 或合成控制估计效应;功效取决于地理单元数而非用户数。
Randomise geographic units (DMAs, cities, countries) and estimate with DiD or synthetic control. Power depends on the number of units, not the number of users.
📌 核心考察要点 (Key Points)
- 单元选择:经济结构相似、互不重叠、数量足够(通常 ≥ 20–30 个单元/臂)
- 配对:按历史指标做配对随机化(paired randomization)以降低方差
- 分析:DiD 需平行趋势;合成控制适合单元很少的情况
- 功效:$n_{\text{unit}}$ 决定功效,通常 MDE 很大(5–10% 量级)
- Unit selection: economically similar, non-overlapping, enough units (typically 20–30 per arm or more)
- Pairing: paired randomisation on historical metrics to reduce variance
- Analysis: DiD requires parallel trends; synthetic control suits very few units
- Power: driven by $n_{\text{unit}}$, so the MDE is usually large, on the order of 5–10%
📐 第一性原理与数理推导机理
配对设计下,效应估计的方差约为 $\frac{2}{n_{\text{pair}}}\sigma^2_{\Delta}$,其中 $\sigma^2_{\Delta}$ 是配对内差分的方差。配对的相关性越高,方差越小——这就是为什么按历史指标配对能显著提升功效。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
geo 实验最大的隐性成本是业务代价:某些地区享受不到改进,可能引起用户抱怨或竞对趁机进入。因此通常只用于无法用户级分流的场景(如定价、品牌投放、算法全局参数),且时长受限。
⚠️ 常见高频面试陷阱与避坑指南
- 地理单元太少却报告“显著”——功效根本不够
- 不做配对随机化,方差过大
🔍 大厂面试官连环追问 (Follow-ups)
- 如何检验平行趋势?
- geo 实验的结果如何外推到全量?
🎯 关联大厂考题实战训练 (2 题)
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!