A/A 空白对照测试 (A/A Testing / Placebo Experiment) 与基于 MurmurHash/MD5 的正交分流分桶哈希均匀性校验 (Orthogonal Hash Bucketing & Uniform Traffic Partitioning) 是保障实验平台分流无偏差、第一类错误不膨胀的核心基准测试;A/A 测试机制:将完全相同的对照策略(无任何功能改动)同时分发给两个独立分桶
A1 与
A2;三大核心验证指标:1) 第一类错误率校验:在名义显著性水平
α=0.05 下,运行 1000 次模拟 A/A 测试,
p<0.05 的比例应严格接近
5%;2)
p 值均匀性检验:在零假设下,
p 值应服从
[0,1] 上的标准均匀分布 (Uniform Distribution
U(0,1)),可通过 KS 检验 (Kolmogorov-Smirnov Test) 进行拟合度验证;3) 分流哈希均匀性:采用 `MurmurHash3(User_ID + Salt) % 10000` 实现分层正交实验网络,杜绝多重实验之间的跨层干涉与桶间固有方差不平衡。