假设检验

假设检验 (Hypothesis Testing) 在零假设 $H_0$ 与备择假设 $H_1$ 间做二选一决策: 当检验统计量落入拒绝域时拒绝 $H_0$。两类错误: 第一类错误 (误拒 $H_0$) 概率为 $\alpha$, 第二类错误 (漏报真效应) 概率为 $\beta$, 功效 $= 1-\beta$;p 值 = 在 $H_0$ 为真时观察到当前或更极端结果的概率, 不是 $H_0$ 为真的概率。

A/B 测试显著性判断、特征筛选、论文假设验证;面试常考两类错误的权衡 (降低 $\alpha$ 会升高 $\beta$)、p 值误区, 以及多重比较下的 Bonferroni 与 FDR-BH 校正。

同时做 $k$ 个独立检验时假阳性累积, 总体第一类错误率约为 $1-(1-\alpha)^k \approx k\alpha$;Bonferroni 校正把每个检验的阈值降为 $\alpha' = \alpha/k$, 严格保证总体 (family-wise) 错误率 $\le \alpha$, 但功效损失大;FDR-BH 改为控制错误发现率 $\text{FDR} = \mathbb{E}[V/R]$ (拒绝中假阳性占比), 在 $k$ 达数千的基因/特征筛选中显著提升功效, 是大规模多重比较的主流选择。

第一类错误 $\alpha$、第二类错误 $\beta$ 与检验功效 $1-\beta$ 的定义?降低 $\alpha$ 为什么增大 $\beta$?

p 值的精确定义是什么?为什么不能说 p 值是 $H_0$ 为真的概率?

做 $k$ 次检验时总体假阳性率如何累积?Bonferroni 校正 $\alpha' = \alpha/k$ 的原理与代价?

FWER 与 FDR 的区别?Benjamini–Hochberg 流程的具体步骤?

显著性水平、效应量、样本量如何影响功效?如何做功效分析与样本量规划?