M3-PB07Playbook长期效应 · Long-term effects
长期效应:novelty、holdout 与代理指标验证
Long-term effects: novelty, holdouts and proxy validation
🧭 Playbook 核心提示 / Actionable Calibration:
替代方案:若无法做 holdout,可用“代理指标 + 机制论证 + 历史回测”三件套。关键是历史回测:拿过去 20+ 个有长期数据的实验,验证代理指标的效应方向是否与长期一致。这是可证伪的,而机制论证不是。
📌 核心考察要点 (Key Points)
- 规模:1–5% 用户,需保证能检出长期指标的小效应(功效计算用长期指标的方差)。
- 时长:3–12 个月,覆盖至少一个完整业务周期(如年度促销)。
- 代价:holdout 用户不享受改进,有体验与收入成本,需要业务方签字同意。
- 分析:定期对比,注意 holdout 组会因产品其他改动而产生“漂移”,需要定期重置或分层。
- Size: 1–5% of users, powered on the long-term metric's variance, which is usually larger.
- Duration: 3–12 months, covering at least one full business cycle such as an annual promotion.
- Cost: holdout users miss improvements, so there is a real experience and revenue cost; the business must sign off.
- Analysis: review periodically; the holdout drifts as other product changes land, so stratify by exposure or reset it periodically.
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!