多重假设检验校正与选择偏差

多重假设检验误差膨胀、Bonferroni / FDR 校正与多次试验选择偏差 (Multiple Testing Correction: Bonferroni, FDR & Selection Bias Mitigation) 是科研实验与统计评估中防止“将随机假阳性噪声误判为重大科研突破 (P-hacking)”的严密统计学防御理论；误差膨胀定理：若独立测试 $K$ 个不同的模型变体或超参数，单次显著性水平为 $\alpha=0.05$，则至少出现一次假阳性显著的族误差率 (FWER: Family-Wise Error Rate) 呈指数级剧增为 $\alpha_{\text{FWER}} = 1 - (1-\alpha)^K$（当测试 $K=20$ 个模型时，就算所有模型完全无效，也有高达 $64.2\%$ 的概率纯粹凭运气出现一个 $p < 0.05$ 的‘伪突破’！）；纠偏标准：1) Bonferroni 校正：将单次检验阈值严格调紧为 $\alpha' = \frac{\alpha}{K}$（强保守性）；2) Benjamini-Hochberg (BH) 假发现率 (FDR: False Discovery Rate) 校正；3) 锁死 Holdout 盲测集，严禁在同一测试集上反复刷分。

多模型横向显著性评测、多组超参最优值选择偏差修正、学术论文严密统计结论论证。

很多团队尝试 200 组超参数后挑选最优值作为论文最终得分，却不知该得分由于选择偏差被严重高估；多重假设检验校正彻底清除了假阳性虚假繁荣。

数学推导为什么在不进行多重校正时，测试 $K=100$ 次实验后产生至少一个假阳性显著结果的概率高达 $1 - (0.95)^{100} \approx 99.4\%$？

详细对比 Bonferroni 强控制族误差率 (FWER) 与 Benjamini-Hochberg 控制假发现率 (FDR) 在检验保守性与统计功效 (Power) 上的权衡？

多次调优后的测试集污染 (Overfitting the Test Set): 为什么在验证集上调完超参后，必须在完全未见过的独立测试集上进行一次性前向评估？

Bootstrap 重采样法 (Bootstrap Resampling: 采样 10,000 次计算 95% 置信区间 CI) 在验证模型指标差异中的非参数应用？

数据嗅探 (Data Snooping) 与事后假设构建 (HARKing: Hypothesizing After Results are Known) 在科研道德中的危害与预注册实验 (Pre-registration) 防护？