M3-PB02Playbook功效与样本量 · Power & sample size

样本量与 MDE:四种场景的公式与直觉

Power and sample size: formulas and intuition for four settings
💡 考场高分一句话答案:

样本量与 MDE 是 A/B 测试的生命线,核心由显著性水平 alpha、统计功效 1-beta、指标基础方差 sigma^2 和预期间接提升 MDE 严格确定。

🧭 Playbook 核心提示 / Actionable Calibration:

三个常见错误:(1) 用相对 MDE 但代入绝对 $\Delta$;(2) 用当前基线方差估样本量,但改动会改变方差;(3) 忘记算“有效样本”——去重、bot 过滤、trigger 比例都会让实际有效样本远小于流量。

📐 第一性原理与数理推导机理

两样本均值检验的标准样本量方程:$$n = \frac{2(z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2}{\mathrm{MDE}^2}$$对于二项分布比例指标(如转化率 $p$),$\sigma^2 = p(1-p)$,故 $n \approx \frac{16 p(1-p)}{\mathrm{MDE}^2}$。若 MDE 表示为相对提升幅度 $r = \frac{\mathrm{MDE}}{p}$,则单组样本量可简记为:$$n \approx \frac{16(1-p)}{p \cdot r^2}$$

⚠️ 常见高频面试陷阱与避坑指南

  • 用实验期间的指标方差估算初始样本量(必须使用实验前同口径基线方差)。
  • 算出需要 3 天样本量就真的只跑 3 天,忽视了周末与工作日的用户构成差异(周内效应污染)。

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果业务要求的 MDE 极小(如 0.1%),但流量只够跑 2 周,有哪些合法的方差缩减手段?
  • 在非对称分流(如 90:10)下,有效样本量公式为什么会折损为 $\frac{4}{1/q_1 + 1/q_2}$?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔