M3-012Hard长期效应 · Long-term effects

如何设计一个 long-term holdout?需要注意什么?

How would you design a long-term holdout, and what do you need to watch?
💡 考场高分一句话答案:

留 1–5% 用户长期不享受改动,持续 3–12 个月对比;关键是样本量、指标选择、以及避免 holdout 组被其他改动污染。

Hold 1–5% of users on the old experience for 3–12 months and compare continuously. The constraints are sample size, metric choice, and contamination by other changes.

📌 核心考察要点 (Key Points)

  • 规模:按长期指标的方差算功效;长期指标通常方差更大,需要更多样本
  • 时长:覆盖至少一个完整业务周期(年度促销、季节性)
  • 污染:holdout 用户仍会受产品其他改动影响,需要定期重置或按“是否被其他实验覆盖”分层
  • 伦理与业务:holdout 用户不享受改进,需要业务签字;高风险改进(如安全修复)不能 holdout
  • Size: power it on the long-term metric, whose variance is usually larger, so it needs more users than the short-term test
  • Duration: cover at least one full business cycle such as an annual promotion
  • Contamination: holdout users still experience other product changes, so stratify by exposure or reset periodically
  • Ethics and business: holdout users miss improvements, so the business must sign off; safety fixes can never be held out

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

holdout 的统计难点是多重比较与漂移:你会反复检查同一批用户,且产品在持续变化。稳妥做法是预注册检查时点(如每季度一次)、用 always-valid 方法、并把 holdout 组按“实验覆盖率”分层分析。

⚠️ 常见高频面试陷阱与避坑指南

  • holdout 太小,长期指标根本测不出效应
  • 把 holdout 当成“永久对照组”,不定期重置导致组间差异累积

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果 holdout 组体验明显变差,怎么处理?
  • 如何用 holdout 校准短期代理指标?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔