假设检验、两类错误与功效权衡

现代统计推断假设检验体系、两类错误概率与统计功效严格数学权衡 (Statistical Hypothesis Testing, Type I/II Errors & Statistical Power Analysis) 是数据科学家 (DS) 设计任何线上 A/B 实验或业务决策时的核心理论基石；假设设定：原假设 $H_0$（新策略无真实效果，$\Delta = 0$）与备择假设 $H_1$（新策略有显著效果，$\Delta \neq 0$）；两类决策风险：1) 第一类错误 (Type I Error / $\alpha$, 假阳性弃真): 真实无效果却误判为显著，工业界标准设定为 $\alpha = 0.05$；2) 第二类错误 (Type II Error / $\beta$, 假阴性存伪): 真实有效果却未能检测出来；3) 统计功效 (Statistical Power $= 1 - \beta$): 在备择假设成立时成功拒绝原假设的概率，工业界标准设定为 $\text{Power} \ge 0.80$ (或 $0.90$)；通过 $Z$ 检验或双样本 $t$ 检验统计量构建对称决策阈值，平衡产品迭代速度与避免错误上线的业务风险。

工业级 A/B 实验方案设计、DS 经典统计学第一轮技术面试、科学决策风控体系搭建。

业务团队盲目上线无意义功能或由于实验样本量不足错失真正带来数千万增量的好策略；统计功效分析在数学层面保证了实验决策的高信度与高召回。

现场画出 $H_0$ 零假设分布曲线与 $H_1$ 备择假设分布曲线，并用阴影准确标出 $\alpha/2$、$\beta$ 与 $\text{Power} = 1 - \beta$ 的几何区域？

单尾检验 (One-Tailed Test) vs 双尾检验 (Two-Tailed Test): 为什么在大多数产品 A/B 测试中即使预期是正向提升也必须坚持使用双尾检验？

效应量 (Effect Size / Cohen's $d = \frac{\mu_T - \mu_C}{\sigma_{\text{pooled}}}$) 与统计显著性 ($p < 0.05$) 的本质区别：为什么在大样本下极微小的无业务意义波动也会 $p$ 值显著？

独立双样本 $t$ 检验 (Student's $t$) 与 Welch's $t$ 检验：当实验组与对照组样本量不相等或方差齐性不满足时，为什么应默认选择 Welch's $t$ 检验？

比率类指标 (如点击率 CTR / 转化率 CVR) 的卡方检验 ($\chi^2$ Test) 与双样本比例 $Z$ 检验的渐近等价性证明？