M1-050M1: 数学与统计基础置信区间与 BootstrapHard
⚡闪卡盲测➔掌握度:

如何用 bootstrap 做 A/B 测试的显著性判断?有什么坑。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M1-051 →
📐 核心数学机理公式
Δ(b)∗=stat(A(b)∗)−stat(B(b)∗)\Delta^*_{(b)}=\mathrm{stat}(A^*_{(b)})-\mathrm{stat}(B^*_{(b)})
⚡ 一句话直击要害答案
对两组分别重采样,计算差值分布的分位数;坑:重尾、极小样本、多重指标、重复抽样需固定随机种子。

📌 核心要点提炼

  • •
    差值法比分别构造 CI 再比较更正确
  • •
    计算成本高,需缓存/并行
  • •
    不能替代实验设计(功效/分流/污染)

📐 数学机理与严密推导

正确做法:① 对 A、B 两组分别做有放回重采样(各 n_A、n_B 次);② 每次计算统计量差值 Δ*_b=stat(A*_b)−stat(B*_b)(注意是差值分布,而非分别构造两个 CI);③ 取 Δ* 分布的分位数作为差值的置信区间,或计算 P(Δ*>0)(单侧)与 (1+min(2P(Δ*≤0), 2P(Δ*≥0)))(双侧 p 值)。关键点:必须对差值做 bootstrap,因为两组独立时 Var(A−B)=Var(A)+Var(B),而'分别构造 CI 再比较'会忽略协方差且无法给出差值的精确区间——这正是'两个 CI 重叠但不显著'这一常见困惑的根源(CI 重叠与否是比显著性检验更保守的判据)。

🏭 深度剖析与工业落地权衡

四个必须注意的坑:① 重尾指标——点击/消费/延迟类指标重尾,bootstrap 方差估计不稳定,应先做 CUPED 降方差或对指标做截断(winsorize),并增大 B;② 极小样本/稀有事件——若某组转化数极少(如 <10),bootstrap 分布严重离散,分位数估计粗糙,此时应改用精确检验(Fisher 精确检验)或贝叶斯方法(Beta-Binomial);③ 分层与配对结构——若实验采用分层随机化或配对设计,bootstrap 必须在层内/对内进行(stratified bootstrap),否则会低估方差;④ 计算成本与可复现性——B=10000 时对 10⁸ 用户做重采样代价高昂,实践中常用泊松 bootstrap(对每个用户的贡献乘独立泊松权重)或对聚合统计量做 bootstrap;同时必须固定随机种子以保证结果可复现,并注意多次实验的随机种子不应重复使用。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    分别构造两组 CI 后比较是否重叠
  • ✕
    对稀有事件(转化数极少)直接用 bootstrap
🎯 面试官连环追问与延伸考察
  • ?
    为什么不能用'两个 CI 重叠与否'判断显著性?
  • ?
    bootstrap 与 delta method 的取舍?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M1-049: bootstrap 与置换检验(permutation test)分别适用于什么场景?📋 返回题库下一题 →M1-051: 描述一个标准 A/B 实验的完整流程。