M3-002Medium功效与样本量 · Power & sample size🔥 大厂高频出现 12 次

如何计算一个 A/B 测试的样本量?需要哪些输入?

How do you compute the sample size for an A/B test? What inputs do you need?
💡 考场高分一句话答案:

需要四个输入:基线方差(或基线比例)、MDE、α、power;代入 $n\approx 16\sigma^2/\Delta^2$(连续)或比例公式。

Four inputs: baseline variance (or baseline proportion), MDE, alpha and power. Plug into $n\approx 16\sigma^2/\Delta^2$ for continuous metrics or the proportion formula.

📌 核心考察要点 (Key Points)

  • 输入:基线指标值与方差(从历史数据估,不用拍脑袋)、业务可接受的最小效应 MDE、α(通常 0.05 双侧)、power(通常 0.8)
  • 连续指标:$n_{\text{per arm}}=2\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2/\Delta^2$(每臂)
  • 比例指标:用 $p(1-p)$ 代替 $\sigma^2$,且 $p_1\ne p_2$ 时分别计算
  • 换算时长:$\text{天数}=2n/(\text{日流量}\times \text{有效比例})$,向上取整到整周
  • Inputs: baseline value and variance from historical data (not intuition), the smallest effect the business cares about (MDE), α (usually 0.05 two-sided), power (usually 0.8)
  • Continuous: $n_{\text{per arm}}=2\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2/\Delta^2$
  • Proportion: replace $\sigma^2$ with $p(1-p)$, computed separately for $p_1$ and $p_2$
  • Duration: days $=2n/(\text{daily traffic}\times\text{effective share})$, rounded up to whole weeks

📐 第一性原理与数理推导机理

公式来自两样本 z 检验的近似:检验统计量 $Z=\frac{\bar{Y}_T-\bar{Y}_C}{\sqrt{2\sigma^2/n}}$。要求在 $H_1$ 下 $P(|Z|>z_{1-\alpha/2})\ge 1-\beta$,即 $\frac{\Delta}{\sqrt{2\sigma^2/n}}\ge z_{1-\alpha/2}+z_{1-\beta}$,平方即得。

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

实务中 MDE 的确定是业务问题而非统计问题:MDE 应该等于“这个改动如果只带来这么小的提升,我们还会上线吗”。如果答案是“会”,那 MDE 可以放宽;如果“不会”,那就不该为更小的效应浪费流量。很多团队把 MDE 设成“能算出来的最小值”,这是本末倒置。

⚠️ 常见高频面试陷阱与避坑指南

  • 用相对 MDE 代入绝对 $\Delta$ 的公式
  • 忽略有效样本比例(去重、bot、trigger),导致实际功效不足

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果算出来需要 8 周,但业务只给 2 周,你怎么办?
  • 如何用 CUPED 减少所需样本?

🎯 关联大厂考题实战训练 (6 题)

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔