M3-003Medium功效与样本量 · Power & sample size
业务方要求检测 0.2% 的相对提升,但流量只够 2 周。你怎么办?
The business wants to detect a 0.2% relative lift but you only have two weeks of traffic. What do you do?
💡 考场高分一句话答案:
四条路:降方差(CUPED/triggered)、改指标(用更敏感的代理)、改设计(提高暴露强度)、或改问题(不值得测这么小的效应)。
Four routes: reduce variance (CUPED, triggered), change the metric to a more sensitive proxy, increase exposure intensity, or challenge the question itself.
📌 核心考察要点 (Key Points)
- 降方差:CUPED($\rho=0.6$ 时省 36% 样本)、triggered analysis、winsorize 重尾
- 换指标:用更接近改动的输入指标(如“首屏点击率”而非“7 日留存”),但要验证它与长期目标同向
- 提暴露:只在会触发的用户上做实验(提高 $q$),或用更高的处理强度
- 改问题:0.2% 的提升是否值得上线?如果不值得,就不该花流量去测
- Reduce variance: CUPED (at $\rho=0.6$ saves 36% of the sample), triggered analysis, winsorising heavy tails
- Change the metric: use an input metric closer to the change (first-screen CTR rather than 7-day retention), but validate that it moves with the long-term goal
- Increase exposure: run only on users who trigger ($q$ closer to 1), or raise treatment intensity
- Challenge the question: is a 0.2% lift worth shipping? If not, it is not worth the traffic
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
最后一条最容易被忽略但最重要:不是所有问题都值得回答。如果 0.2% 的提升在业务上不可感知、不足以覆盖工程成本,那么正确的回答是“这个实验不值得做,我们应该改做 X”。这是 L5 的判断,比硬算样本量更有价值。
⚠️ 常见高频面试陷阱与避坑指南
- 直接说“做不了”,不给替代方案
- 偷偷降低 α 或 power 来凑样本量
🔍 大厂面试官连环追问 (Follow-ups)
- 如何验证一个新代理指标与长期目标同向?
- triggered analysis 会不会引入选择偏差?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!