M4-010Hard区间估计与 Bootstrap · Intervals & bootstrap
贝叶斯 A/B 测试怎么做?Beta-Binomial 模型如何更新?
How do you run a Bayesian A/B test, and how does the Beta-Binomial update work?
💡 考场高分一句话答案:
用 Beta(a,b) 作 CTR 的先验,观察 s 次成功、f 次失败后后验为 Beta(a+s, b+f);用后验采样比较两组。
Use a Beta prior on the rate; after s successes and f failures the posterior is Beta(a+s, b+f). Compare arms by sampling from the posteriors.
📌 核心考察要点 (Key Points)
- 更新:$\text{Beta}(a,b)\to\text{Beta}(a+s,\,b+f)$,共轭使计算极简
- 决策量:$P(p_T>p_C\mid\text{data})$,或用后验期望损失 $E[\max(0,p_C-p_T)]$
- 先验选择:$\text{Beta}(1,1)$ 均匀;用历史 CTR 定 $a,b$(如 CTR 5%、强度 100 → Beta(5,95))
- 注意:先验过强会压制数据;应先做先验敏感性分析
- Update: $\text{Beta}(a,b)\to\text{Beta}(a+s,\,b+f)$; conjugacy keeps it closed-form
- Decision quantity: $P(p_T>p_C\mid\text{data})$, or expected posterior loss $E[\max(0,p_C-p_T)]$
- Prior choice: uniform Beta(1,1), or a history-based prior such as Beta(5,95) for a 5% CTR with strength 100
- Caveat: an over-strong prior suppresses the data; run a prior sensitivity check
📐 第一性原理与数理推导机理
后验 $p(p\mid s,f)\propto p^s(1-p)^f\cdot p^{a-1}(1-p)^{b-1}=p^{a+s-1}(1-p)^{b+f-1}$,即 $\text{Beta}(a+s,b+f)$。因此均值 $\frac{a+s}{a+b+s+f}$,方差 $\frac{\mu(1-\mu)}{a+b+s+f+1}$——样本量通过 $a+b$ 与观测数共同作用。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
贝叶斯 A/B 的一大优势是可解释的决策规则:可以设定“当 $P(p_T>p_C)>0.95$ 且期望损失 < 0.1% 时上线”。但它并不能免除 peeking 问题——反复查看会提高“至少一次越过阈值”的概率,需要模拟校准或使用 always-valid 方法。
⚠️ 常见高频面试陷阱与避坑指南
- 用强先验“凑”出显著结果
- 认为贝叶斯可以随意中途查看
🔍 大厂面试官连环追问 (Follow-ups)
- 如何做先验敏感性分析?
- 贝叶斯方法如何处理多臂实验?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.