工业 A/B 实验与多重假设检验校正方法论(族误差率 FWER 控制 vs 假发现率 FDR 控制)体系 (Multiple Comparisons in Online Experimentation: FWER vs FDR-BH Corrections) 是在同时评估多组实验变体(A/B/C/n 测试)、多个业务维度细分(不同国家、不同客户端)或成百上千个监控指标时防止假阳性泛滥的统计学决策标准;两大控制哲学:1) 族误差率 (FWER - Family-Wise Error Rate): 严格要求所有检验中
连一个假阳性都不能出现,包括超保守的 Bonferroni 校正(
α′=Kα)与逐步检验法 Holm-Bonferroni(按
p 值升序,第
i 个阈值为
K−i+1α),适用于高风险不可逆核心大盘指标;2) 假发现率 (FDR - False Discovery Rate): 允许少量假阳性,控制“在所有被声称显著的发现中,假阳性所占的期望比例
≤q”,采用 Benjamini-Hochberg (BH) 算法(将
K 个
p 值排序,寻找最大满足
p(i)≤Kiq 的临界点),显著提升统计功效 (Statistical Power),适用于探索性多指标看板分析。