现代统计推断假设检验体系、两类错误概率与统计功效严格数学权衡 (Statistical Hypothesis Testing, Type I/II Errors & Statistical Power Analysis) 是数据科学家 (DS) 设计任何线上 A/B 实验或业务决策时的核心理论基石;假设设定:原假设
H0(新策略无真实效果,
Δ=0)与备择假设
H1(新策略有显著效果,
Δ=0);两类决策风险:1) 第一类错误 (Type I Error /
α, 假阳性弃真): 真实无效果却误判为显著,工业界标准设定为
α=0.05;2) 第二类错误 (Type II Error /
β, 假阴性存伪): 真实有效果却未能检测出来;3) 统计功效 (Statistical Power
=1−β): 在备择假设成立时成功拒绝原假设的概率,工业界标准设定为
Power≥0.80 (或
0.90);通过
Z 检验或双样本
t 检验统计量构建对称决策阈值,平衡产品迭代速度与避免错误上线的业务风险。