M4-004Medium假设检验 · Hypothesis testing🔥 大厂高频出现 15 次

Type I 错误、Type II 错误与 power 的关系是什么?为什么 power 通常设 0.8?

How do Type I error, Type II error and power relate, and why is power usually set to 0.8?
💡 考场高分一句话答案:

Type I 错误是冤枉好人(将无差异误判为显著),Type II 错误是错放坏人(未检测出真实存在的效应);统计功效 Power = 1 - beta 通常设为 0.8 以在样本量成本与召回率间取得商业平衡。

Type I is a false positive (alpha), Type II a false negative (beta), and power is 1−beta. 0.8 trades the cost of missing a good change against sample cost.

📌 核心考察要点 (Key Points)

  • 四格:$H_0$ 真/假 × 拒绝/不拒绝;α 控制假阳性,β 控制假阴性
  • 权衡:固定 α 时,power 随样本量或效应量上升;MDE 越小需要样本越多
  • 0.8 的来源:β=0.2 意味着 20% 的真效应会被漏掉;再降低 β 需要成倍样本
  • 产品含义:漏掉一个好改动的成本 vs 多跑实验的成本,决定了 power 该设多少
  • The 2x2: null true or false crossed with reject or not; alpha governs false positives, beta false negatives
  • Trade-off: fixing alpha, power rises with sample size or effect size; a smaller MDE needs more sample
  • Why 0.8: beta=0.2 means 20% of real effects are missed; halving beta multiplies the sample requirement
  • Business framing: the cost of missing a good change versus the cost of more traffic

📐 第一性原理与数理推导机理

设两独立样本均值差统计量 $\hat{\delta} = \bar{X}_1 - \bar{X}_2 \sim \mathcal{N}(\delta, 2\sigma^2/n)$。在显著性水平 $\alpha$ 下,零假设 $H_0: \delta = 0$ 的双尾临界值为 $c = z_{1-\alpha/2} \sigma \sqrt{2/n}$。在备择假设 $H_1: \delta = \delta_{\text{true}}$ 下,统计功效为拒绝域的概率积分:$$\mathrm{Power} = 1 - \beta = \Phi\left(\frac{|\delta_{\text{true}}|\sqrt{n}}{\sigma\sqrt{2}} - z_{1-\alpha/2}\right)$$令其等于 $0.80$(即 $z_{1-\beta} = 0.84$),反解得到样本量公式:$n = \frac{2(z_{1-\alpha/2} + z_{1-\beta})^2 \sigma^2}{\delta^2} \approx \frac{16\sigma^2}{\delta^2}$。

⚠️ 常见高频面试陷阱与避坑指南

  • 忽视假阳性与假阴性不对称的业务代价(核心搜索算法假阳性代价极大,应收紧 alpha;小众实验假阴性会扼杀创新,应提高 power)。
  • 在实验结束后进行事后功效分析(Post-hoc Power),用已观测到的效应量算伪功效毫无统计意义。

🔍 大厂面试官连环追问 (Follow-ups)

  • 为什么工业界普遍约定 alpha = 0.05 且 power = 0.8?为什么不把 power 设为 0.95?
  • 如果样本量只能支持 0.5 的功效,做这个实验还有意义吗?为什么它会放大获胜实验的估计效应(Winner's Curse)?

🎯 关联大厂考题实战训练 (6 题)

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.
🎯 Drill This Card Now➔