返回 DS 数据科学家 思维导图
中文·English
📈 DS 数据科学家ID: ds-multiple-testing-fwer-fdr-bh

多重比较校正:Bonferroni vs FDR

Multiple Comparisons: FWER vs FDR-BH
🎯核心定义
工业 A/B 实验与多重假设检验校正方法论(族误差率 FWER 控制 vs 假发现率 FDR 控制)体系 (Multiple Comparisons in Online Experimentation: FWER vs FDR-BH Corrections) 是在同时评估多组实验变体(A/B/C/n 测试)、多个业务维度细分(不同国家、不同客户端)或成百上千个监控指标时防止假阳性泛滥的统计学决策标准;两大控制哲学:1) 族误差率 (FWER - Family-Wise Error Rate): 严格要求所有检验中连一个假阳性都不能出现,包括超保守的 Bonferroni 校正(α=αK\alpha' = \frac{\alpha}{K})与逐步检验法 Holm-Bonferroni(按 pp 值升序,第 ii 个阈值为 αKi+1\frac{\alpha}{K - i + 1}),适用于高风险不可逆核心大盘指标;2) 假发现率 (FDR - False Discovery Rate): 允许少量假阳性,控制“在所有被声称显著的发现中,假阳性所占的期望比例 q\le q”,采用 Benjamini-Hochberg (BH) 算法(将 KKpp 值排序,寻找最大满足 p(i)iKqp_{(i)} \le \frac{i}{K} q 的临界点),显著提升统计功效 (Statistical Power),适用于探索性多指标看板分析。
💡使用场景
多分支变体实验决策、实验后多维交叉下钻分析 (Subgroup Analysis)、成百上千个护栏指标告警。
解决的核心痛点
当一个实验监控 50 个指标或下钻 30 个用户群时,不做校正几乎必然会看到几个所谓“显著提升”的虚假发现;FWER 与 FDR 提供了严密的数学过滤网。
🎯5 个高频面试考点 (Exam Points)
1
详细对比 Bonferroni、Holm-Bonferroni 与 Benjamini-Hochberg (BH) 在假设前提、排序步骤、检验保守性与第二类错误 (Type-II Error) 上的全方位差异?
2
写出 Benjamini-Hochberg (BH) 算法的完整执行步骤:如何对 KKpp 值升序排列、计算自适应阈值线并确定拒绝域截断点 kk^*
3
业务场景选型:在以下三种场景中分别应选择 FWER 还是 FDR?A) 核心交易链路大盘 GMV 与故障率检测;B) 运营团队从 200 个用户标签中寻找高潜力转化人群;C) 推荐系统多臂老虎机 (MAB) 探索?
4
多维下钻分析中的“辛普森悖论 (Simpson's Paradox)”与多重检验陷阱:为什么在细分人群中反复挑选显著群组会导致严重的样本选择偏差?
5
Benjamini-Yekutieli (BY) 校正在检验统计量存在正相关/任意复杂相关依赖性下的理论扩展?
更新于 2026-08-14
🎯
检验攻克程度:针对「多重比较校正:Bonferroni vs FDR」专属刷题排雷
做单选排雷题、推导选项机制,答错自动收录进专属错题本。
🚀 开始本考点专项刷题
上一个知识点P-hacking 偷窥与序贯检验 mSPRT下一个知识点Bootstrap 非参数重采样与置信区间

🔗 更多 DS 数据科学家 知识点卡片

假设检验、两类错误与功效权衡样本量公式严格推导与 MDE 估算CUPED 方差缩减严格数学推导样本比例失衡 SRM 卡方检测排查