M1-052M1: 数学与统计基础实验设计 (A/B)Easy
⚡闪卡盲测➔掌握度:

什么是 A/A 测试?它的作用是什么。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-053 →
📐 核心数学机理公式
A/A: Pr⁡(false positive)≈α\text{A/A}:\ \Pr(\text{false positive})\approx\alpha
⚡ 一句话直击要害答案
两组都跑原策略;用于验证分流系统与统计管线,应得到无显著差异。

📌 核心要点提炼

  • •
    上线前跑 A/A 校验分流均匀性与方差估计
  • •
    若 A/A 频繁显著 → 分流或统计有问题

📐 数学机理与严密推导

A/A 测试把两组都分配到相同的策略(原策略),因此理论上任何观测到的差异都来自随机噪声。它的用途是验证实验基础设施的正确性,具体检查四项:① 分流是否均匀(组间样本量、用户特征分布);② 指标计算管线是否正确(同样的数据两条路径应给出一致结果);③ 方差估计是否准确(A/A 的假阳性率应接近名义 α=5%);④ 是否存在系统性偏差(如缓存、日志丢失、埋点差异导致的不对称)。判读标准:单个 A/A 测试的 p 值应服从均匀分布 U(0,1);若在多个 A/A 测试中显著比例远高于 5%,说明基础设施有问题。

🏭 深度剖析与工业落地权衡

实践要点:① 上线前必做——新实验平台/新指标/新分流逻辑上线前应跑 A/A 验证,这是防止'实验结果不可信'的第一道防线;② A/A 显著的可能原因——分流不均匀(哈希碰撞、过滤逻辑不对称)、埋点丢失(某组日志缺失)、缓存污染(CDN 缓存跨组)、时序偏差(分组上线时间不同)、方差低估(未考虑聚类结构);③ A/A 的局限——A/A 只能检测对称的系统性偏差,若两组都有同样的偏差(如整体日志丢失),A/A 无法发现;④ 实践中常用 A/A/A(三组)以更好地估计方差,或使用样本分割验证(把同一处理的数据随机分成两半,检查是否一致)。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    跳过 A/A 直接跑 A/B(基础设施问题会被误读为策略效果)
  • ✕
    认为 A/A 不显著就证明基础设施完全正确
🎯 面试官连环追问与延伸考察
  • ?
    A/A 显著说明什么?
  • ?
    如何诊断分流不均?(SRM 检验)
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-051: 描述一个标准 A/B 实验的完整流程。📋 返回题库下一题 →M1-053: 解释样本比例失配(SRM),如何检测与排查。