实验设计 (A/B): 解释如何评估实验的长期效应（超越短期指标）。

Core Concept: 用长期 holdout、反向实验、DID/合成控制或指标代理；短期与长期效应常不一致。

短期与长期不一致的三种机制：① <strong>新奇效应（novelty effect）</strong>——用户对新功能的好奇带来短期提升，但会衰减（如新的 UI 布局）；② <strong>学习效应（primacy effect）</strong>——用户需要时间适应改动，短期可能下降而长期上升；③ <strong>真实但延迟的伤害</strong>——短期指标（点击）提升但长期价值受损（如更激进的推荐提高点击但增加退货、损害留存）。<strong>评估方法</strong>：① <strong>长期 holdout</strong>——保留一小部分用户（如 1–5%）<strong>永久不接触</strong>新功能，持续数周至数月对比；优点是直接、干净；代价是需要长期维护、样本量要求高（因为要检测小效应）、且 holdout 用户长期处于'旧体验'可能引发公平性/体验问题。② <strong>反向实验（Reverse Experiment）</strong>——先全量上线新功能，再随机<strong>关闭</strong>一部分用户的新功能，观察指标变化；优点是可评估'已上线的功能'的持续价值（且用户已适应，无新奇效应）；缺点是需在生产环境操作、可能有用户感知。③ <strong>准实验方法</strong>——当无法随机化时（如全量改版、平台级变更），用 <strong>DID（双重差分）</strong>、<strong>合成控制</strong>、<strong>断点回归</strong>估计长期效应。④ <strong>指标代理</strong>——用与长期目标强相关的<strong>短期代理指标</strong>（如'会话深度'代理'留存'），并通过历史数据验证代理的相关性。

实践要点：① <strong>设计阶段就考虑长期</strong>——在实验设计中预设长期指标（留存、复购、LTV、满意度）与观测窗口，而非只看 7 天；若转化有延迟（如大额商品的决策周期长），观测窗口必须覆盖完整周期。② <strong>样本量与功效</strong>——长期指标的方差通常更大、效应更小，故需更长实验或更大样本；可用 <strong>CUPED</strong> 与<strong>触发器分析</strong>提升功效。③ <strong>长期与短期的权衡决策</strong>——若短期提升但长期受损，应优先长期（因为 LTV 是最终目标）；但需权衡'多长的长期'（如 3 个月 vs 1 年）与业务节奏。④ <strong>holdout 的维护</strong>——holdout 用户需在后续所有实验中保持一致（否则会被'污染'）；应有专门机制管理与审计。⑤ <strong>反向实验的适用</strong>——当新功能已全量且效果存疑时，反向实验是最直接的验证方式（代价是短暂的用户体验不一致）。⑥ <strong>警惕</strong>——短期指标提升 + 长期指标未测 = 高风险决策；很多'成功的 A/B'在长期被证明有害（如更频繁的通知、更激进的变现）。