M3-PB03Playbook有效性检验 · Validity checks
SRM:检测、根因与处置
SRM: detection, root cause, response
💡 考场高分一句话答案:
样本比例失配(SRM)是实验有效性的第一道警戒线,一旦触发说明两组流量不再随机同质,所有因果推断彻底作废,必须立即停机追查工程根因。
🧭 Playbook 核心提示 / Actionable Calibration:
处置原则:SRM 未解释清楚前,实验数据一律作废。不要“先看结果再说”——SRM 往往意味着缺失机制与组别相关,此时任何效应估计都有偏。这是 Google 内部非常硬的规则,面试里说出来是强信号。
🗺️ 决策树与面试推进骨架 (Framework Tree)
SRM ├ 分流实现 │ ├ 哈希函数不均匀 / 分桶边界错误 │ ├ 同一用户被多次分到不同组(缺 sticky assignment) │ └ 实验层冲突(同一层两个实验互相挤占) ├ 数据管道 │ ├ 只记录了“曝光”没记录“分配”→ 分母错 │ ├ 日志丢失(某组日志采样率不同) │ └ join 键不一致导致丢行(且丢行与组别相关) ├ 产品/技术 │ ├ 实验组崩溃率高 → 用户没走到埋点 │ ├ 实验组加载慢 → 超时未上报 │ └ 某组触发了额外的重定向/登录墙 └ 分析口径 ├ 过滤条件与组别相关(如“只保留完成会话”) └ 去重逻辑不对称
📌 核心考察要点 (Key Points)
- 用 p < 0.001 而非 0.05——因为你会每天检查,需要控制反复检验的假阳性。
- 同时看绝对偏差:小样本下 p 值不显著不代表没问题。
- 分维度查 SRM:按平台、国家、版本分别做,能定位根因。
- Use p < 0.001, not 0.05, because you check daily and need to control repeated testing.
- Also look at the absolute deviation: at small n a non-significant p does not mean the split is clean.
- Check SRM per dimension (platform, country, version) to localise the cause.
📐 第一性原理与数理推导机理
设计划分流比例为 $q_1 : q_2$。总观测用户数 $N = N_1 + N_2$,理论期望值 $E_1 = N q_1, E_2 = N q_2$。构造 Pearson 卡方拟合优度统计量:$$\chi^2 = \frac{(N_1 - E_1)^2}{E_1} + \frac{(N_2 - E_2)^2}{E_2} \sim \chi^2_1$$在 Google 生产标准中,通常以极严格的 $p < 0.001$ 作为 SRM 警报阈值,避免过度报警。
⚠️ 常见高频面试陷阱与避坑指南
- 发现 SRM 报警后仍试图直接查看收益指标并汇报给业务方(大忌!SRM 下的处理效应已被混杂严重污染)。
- 误以为 SRM 都是分流算法代码 Bug,忽视了客户端重定向延迟丢包、机器人过滤偏向性、浏览器配置缓存等工程隐患。
🔍 大厂面试官连环追问 (Follow-ups)
- 如果 SRM 报警发生在特定浏览器或特定地域,你如何按维度下钻定位排查?
- 实验中如果处理组因为新功能崩溃导致用户被踢出,会引发怎样的 SRM 假象?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.