Type I 错误、Type II 错误与 power 的关系是什么?为什么 power 通常设 0.8?
Type I 错误是冤枉好人(将无差异误判为显著),Type II 错误是错放坏人(未检测出真实存在的效应);统计功效 Power = 1 - beta 通常设为 0.8 以在样本量成本与召回率间取得商业平衡。
Type I is a false positive (alpha), Type II a false negative (beta), and power is 1−beta. 0.8 trades the cost of missing a good change against sample cost.
📌 核心考察要点 (Key Points)
- 四格:$H_0$ 真/假 × 拒绝/不拒绝;α 控制假阳性,β 控制假阴性
- 权衡:固定 α 时,power 随样本量或效应量上升;MDE 越小需要样本越多
- 0.8 的来源:β=0.2 意味着 20% 的真效应会被漏掉;再降低 β 需要成倍样本
- 产品含义:漏掉一个好改动的成本 vs 多跑实验的成本,决定了 power 该设多少
- The 2x2: null true or false crossed with reject or not; alpha governs false positives, beta false negatives
- Trade-off: fixing alpha, power rises with sample size or effect size; a smaller MDE needs more sample
- Why 0.8: beta=0.2 means 20% of real effects are missed; halving beta multiplies the sample requirement
- Business framing: the cost of missing a good change versus the cost of more traffic
📐 第一性原理与数理推导机理
设两独立样本均值差统计量 $\hat{\delta} = \bar{X}_1 - \bar{X}_2 \sim \mathcal{N}(\delta, 2\sigma^2/n)$。在显著性水平 $\alpha$ 下,零假设 $H_0: \delta = 0$ 的双尾临界值为 $c = z_{1-\alpha/2} \sigma \sqrt{2/n}$。在备择假设 $H_1: \delta = \delta_{\text{true}}$ 下,统计功效为拒绝域的概率积分:$$\mathrm{Power} = 1 - \beta = \Phi\left(\frac{|\delta_{\text{true}}|\sqrt{n}}{\sigma\sqrt{2}} - z_{1-\alpha/2}\right)$$令其等于 $0.80$(即 $z_{1-\beta} = 0.84$),反解得到样本量公式:$n = \frac{2(z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2}{\delta^2} \approx \frac{16\sigma^2}{\delta^2}$。
⚠️ 常见高频面试陷阱与避坑指南
- 忽视假阳性与假阴性不对称的业务代价(核心搜索算法假阳性代价极大,应收紧 alpha;小众实验假阴性会扼杀创新,应提高 power)。
- 在实验结束后进行事后功效分析(Post-hoc Power),用已观测到的效应量算伪功效毫无统计意义。
🔍 大厂面试官连环追问 (Follow-ups)
- 为什么工业界普遍约定 alpha = 0.05 且 power = 0.8?为什么不把 power 设为 0.95?
- 如果样本量只能支持 0.5 的功效,做这个实验还有意义吗?为什么它会放大获胜实验的估计效应(Winner's Curse)?
🎯 关联大厂考题实战训练 (6 题)
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。