M3-010Medium结果解读 · Interpretation
实验跑到一半发现结果显著,可以直接停吗?
The experiment is significant halfway through. Can you stop?
💡 考场高分一句话答案:
不能。中途反复查看会显著膨胀假阳性率;要么固定样本量,要么用序贯检验/alpha spending。
No. Repeated looks inflate the false-positive rate substantially. Either fix the sample size in advance or use sequential testing or alpha spending.
📌 核心考察要点 (Key Points)
- 问题:peeking 使实际 α 远大于名义 α;看 5 次可使 α 从 5% 升到约 14%
- 解法一:固定样本量,期间只看护栏与 SRM,不看主指标
- 解法二:group sequential(Pocock / O'Brien-Fleming)——预设检查点并分配 α
- 解法三:always-valid inference(mSPRT / 贝叶斯)——允许任意时刻查看
- Problem: peeking inflates the actual alpha well beyond nominal; five looks can take 5% to roughly 14%
- Fix one: fix the sample size and monitor only guardrails and SRM during the run
- Fix two: group sequential designs (Pocock, O'Brien-Fleming) that pre-allocate alpha across looks
- Fix three: always-valid inference (mSPRT, or Bayesian with calibrated priors)
📐 第一性原理与数理推导机理
Pocock 设计在 $K$ 次检查时使用恒定的名义显著性水平 $\alpha_K$(略大于 $\alpha/K$),O'Brien-Fleming 则前期极严、末期接近 $\alpha$,更适合“不愿早期停止”的场景。两者都需要在实验开始前确定 $K$。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
工业界更常用的是“看但不决策”:允许每天看主指标用于发现异常(如埋点坏了),但决策只在预设样本量达到后进行。这样既保留了监控能力,又避免了统计问题。回答时把这条说出来,比单纯说“不能看”更专业。
⚠️ 常见高频面试陷阱与避坑指南
- 看到 p<0.05 就停,然后报告“显著”
- 用序贯检验的名义 α 但不预先声明检查次数
🔍 大厂面试官连环追问 (Follow-ups)
- 如果实验中期发现严重 bug,该停吗?
- 贝叶斯方法能解决 peeking 问题吗?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!