M3-PB01Playbook实验流程 · Experiment workflow
A/B 全流程七步(Google 版,可直接当答题骨架)
Seven steps of an A/B test (usable directly as your case skeleton)
🧭 Playbook 核心提示 / Actionable Calibration:
最容易被跳过、也最容易被追问的两步:③ 的 counterfactual logging 和 ⑤ 的 A/A 基线。前者决定了你能不能做 triggered analysis,后者决定了你的方差估计是否可信。在面试里主动提这两点,会立刻区别于“背流程”的候选人。
🗺️ 决策树与面试推进骨架 (Framework Tree)
① 假设与决策 ├ 我们要改变什么用户行为?如果实验成功,具体会做什么决定? └ 反例:如果实验成功但我们不打算上线,就不要做 ② 指标 ├ OEC(1 个)+ 输入指标(2–3)+ 护栏(2–3) └ 全部预注册,禁止事后增加主指标 ③ 实验单元与分流 ├ 随机化单位:user / session / page / geo / cluster ├ 分流比例、分层(stratification)、互斥层(layering) └ 触发条件(trigger)与反事实日志(counterfactual logging) ④ 功效 ├ α = 0.05(双侧)、power = 0.80、MDE 由业务定 ├ 方差估计用历史数据(不是拍脑袋) └ 样本量 → 时长(覆盖整周 + 至少一个完整业务周期) ⑤ 上线前校验 ├ A/A 基线、SRM 预检、埋点验证、样本构成对比 └ 确认无其他实验在同一层冲突 ⑥ 运行与监控 ├ 每日看 SRM 与护栏,不看主指标(避免 peeking) └ 预设停止规则(护栏跌破 / 严重 SRM / 安全事故) ⑦ 分析与决策 ├ 效应量 + CI + 分群异质性 ├ 多重比较校正(若看了多个切片) └ 决策 + 放量计划 + 长期 holdout
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!