🎓 RS 算法研究员ID:
rs-bonferroni-multiple-testing-correction多重假设检验校正与选择偏差
Bonferroni Correction & Selection Bias
🎯核心定义
多重假设检验误差膨胀、Bonferroni / FDR 校正与多次试验选择偏差 (Multiple Testing Correction: Bonferroni, FDR & Selection Bias Mitigation) 是科研实验与统计评估中防止“将随机假阳性噪声误判为重大科研突破 (P-hacking)”的严密统计学防御理论；误差膨胀定理：若独立测试 个不同的模型变体或超参数，单次显著性水平为 ，则至少出现一次假阳性显著的族误差率 (FWER: Family-Wise Error Rate) 呈指数级剧增为 （当测试 个模型时，就算所有模型完全无效，也有高达 $64.2\%$ 的概率纯粹凭运气出现一个 $p < 0.05$ 的‘伪突破’！）；纠偏标准：1) Bonferroni 校正：将单次检验阈值严格调紧为 （强保守性）；2) Benjamini-Hochberg (BH) 假发现率 (FDR: False Discovery Rate) 校正；3) 锁死 Holdout 盲测集，严禁在同一测试集上反复刷分。
💡使用场景
多模型横向显著性评测、多组超参最优值选择偏差修正、学术论文严密统计结论论证。
⚡解决的核心痛点
很多团队尝试 200 组超参数后挑选最优值作为论文最终得分，却不知该得分由于选择偏差被严重高估；多重假设检验校正彻底清除了假阳性虚假繁荣。
🎯5 个高频面试考点 (Exam Points)
1
数学推导为什么在不进行多重校正时，测试 次实验后产生至少一个假阳性显著结果的概率高达 ？
2
详细对比 Bonferroni 强控制族误差率 (FWER) 与 Benjamini-Hochberg 控制假发现率 (FDR) 在检验保守性与统计功效 (Power) 上的权衡？
3
多次调优后的测试集污染 (Overfitting the Test Set): 为什么在验证集上调完超参后，必须在完全未见过的独立测试集上进行一次性前向评估？
4
Bootstrap 重采样法 (Bootstrap Resampling: 采样 10,000 次计算 95% 置信区间 CI) 在验证模型指标差异中的非参数应用？
5
数据嗅探 (Data Snooping) 与事后假设构建 (HARKing: Hypothesizing After Results are Known) 在科研道德中的危害与预注册实验 (Pre-registration) 防护？
🔗核心前置底层技术卡片 (点击穿透复习)
更新于 2026-08-14
🎯
🚀 开始本考点专项刷题 ➔检验攻克程度：针对「多重假设检验校正与选择偏差」专属刷题排雷
做单选排雷题、推导选项机制，答错自动收录进专属错题本。