M1-053M1: 数学与统计基础实验设计 (A/B)Medium
⚡闪卡盲测➔掌握度:
解释样本比例失配(SRM),如何检测与排查。
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
实际分组比例显著偏离预期;用卡方检验检测,通常说明分流/埋点/过滤有 bug。
📌 核心要点提炼
- •SRM 是实验不可信的第一信号
- •常见原因:重定向、bot 过滤、曝光时机差异
📐 数学机理与严密推导
SRM 的检测:设预期分流比例为 p_i(如 50/50),实际观测样本量为 O_i,期望 E_i=p_i·N,则卡方统计量 χ²=Σ(O_i−E_i)²/E_i 在 H₀(分流正确)下服从 χ²(k−1)。实践中 SRM 的判定阈值比常规检验更严格(通常 p<0.001 甚至 p<0.0001),因为分流错误一旦存在就会持续影响所有实验,且会因大样本而轻易达到 p<0.05。为什么 SRM 是严重信号:若分流本身有偏,则组间差异可能来自分流偏差而非策略效果,实验结论完全不可信——所以 SRM 是'实验不可信的第一信号',任何解读都应在确认无 SRM 之后进行。
🏭 深度剖析与工业落地权衡
常见成因与排查:① 分流逻辑——哈希函数不均匀、盐值(salt)在不同服务间不一致、多层实验的流量冲突;② 埋点与日志——某组的事件上报丢失(如客户端版本差异)、曝光时机不同(处理组多一次渲染导致曝光计数不同)、日志采样不对称;③ 过滤逻辑——bot/爬虫过滤规则在两组执行不一致、异常值清洗依赖了组信息、重定向导致用户中途换组;④ 时序——两组上线时间不同导致覆盖的用户群不同(如处理组先上线,早期用户被排除)。排查顺序:先看原始分流日志(是否真的按预期分流)→ 再看埋点与曝光(是否对称)→ 最后检查下游过滤逻辑。发现 SRM 后的正确做法是废弃该实验并修复基础设施,而不是'校正'数据。
⚠️ 常见面试陷阱与高频失分点
- ✕用 p<0.05 判定 SRM(应更严格,如 p<0.001)
- ✕发现 SRM 后仍强行解读指标差异
🎯 面试官连环追问与延伸考察
- ?SRM 与指标不显著的混淆风险?
- ?发现 SRM 后应该怎么做?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!