M3-PB01Playbook实验流程 · Experiment workflow

A/B 全流程七步(Google 版,可直接当答题骨架)

Seven steps of an A/B test (usable directly as your case skeleton)
🧭 Playbook 核心提示 / Actionable Calibration:

最容易被跳过、也最容易被追问的两步:③ 的 counterfactual logging 和 ⑤ 的 A/A 基线。前者决定了你能不能做 triggered analysis,后者决定了你的方差估计是否可信。在面试里主动提这两点,会立刻区别于“背流程”的候选人。

🗺️ 决策树与面试推进骨架 (Framework Tree)

① 假设与决策
   ├ 我们要改变什么用户行为?如果实验成功,具体会做什么决定?
   └ 反例:如果实验成功但我们不打算上线,就不要做

② 指标
   ├ OEC(1 个)+ 输入指标(2–3)+ 护栏(2–3)
   └ 全部预注册,禁止事后增加主指标

③ 实验单元与分流
   ├ 随机化单位:user / session / page / geo / cluster
   ├ 分流比例、分层(stratification)、互斥层(layering)
   └ 触发条件(trigger)与反事实日志(counterfactual logging)

④ 功效
   ├ α = 0.05(双侧)、power = 0.80、MDE 由业务定
   ├ 方差估计用历史数据(不是拍脑袋)
   └ 样本量 → 时长(覆盖整周 + 至少一个完整业务周期)

⑤ 上线前校验
   ├ A/A 基线、SRM 预检、埋点验证、样本构成对比
   └ 确认无其他实验在同一层冲突

⑥ 运行与监控
   ├ 每日看 SRM 与护栏,不看主指标(避免 peeking)
   └ 预设停止规则(护栏跌破 / 严重 SRM / 安全事故)

⑦ 分析与决策
   ├ 效应量 + CI + 分群异质性
   ├ 多重比较校正(若看了多个切片)
   └ 决策 + 放量计划 + 长期 holdout

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔