M3-013Hard干涉与替代设计 · Interference & designs

广告拍卖场景为什么不能用普通用户级 A/B?该怎么做?

Why can't you run a normal user-level A/B test in an ad auction, and what should you do instead?
💡 考场高分一句话答案:

因为实验组提高出价会推高整体清算价格、挤占对照组流量(一般均衡效应),必须用 budget split、switchback 或 geo 设计。

Because a treated advertiser bidding higher raises the clearing price and crowds out the control group. Use budget splits, switchback or geo designs.

📌 核心考察要点 (Key Points)

  • 干涉机制:供给(广告位)有限,实验组多拿曝光 = 对照组少拿;价格是内生均衡结果
  • 后果:用户级 A/B 会低估(或高估)真实效应,因为对照组被“污染”
  • 替代设计:budget split(按预算比例)、switchback(时间切片)、geo(地区对照)、auction-level randomization
  • 解释框架:区分“局部效应(partial equilibrium)”与“全局效应(general equilibrium)”
  • Mechanism: supply (ad slots) is fixed, so treatment gaining impressions means control losing them; price is an endogenous equilibrium outcome
  • Consequence: a user-level test understates or overstates the true effect because the control arm is contaminated
  • Alternatives: budget split, switchback, geo experiment, auction-level randomisation
  • Framing: distinguish partial-equilibrium (local) from general-equilibrium (global) effects

📐 第一性原理与数理推导机理

设市场总曝光 $S$ 固定,实验组份额 $q$。实验组出价提高使清算价格从 $p_0$ 升到 $p_1$,对照组实际获得的有效曝光下降。用户级 A/B 测到的是“在价格不变假设下”的效应,而全局效应需要把价格反馈纳入:$$\tau_{\text{global}}=\tau_{\text{local}}+\underbrace{\frac{\partial Y}{\partial p}\cdot\frac{\partial p}{\partial q}}_{\text{均衡反馈}}$$

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

Google Ads 的实践是用 budget split / geo experiment 来估计“如果全体广告主都采用这个策略会怎样”。这也是为什么广告产品的实验结论常常“实验里很好,全量后一般”——因为实验忽略了均衡反馈。能在面试里讲清这一层,是很强的信号。

⚠️ 常见高频面试陷阱与避坑指南

  • 用用户级 A/B 的结论直接预测全量收益
  • 忽略对照组被挤出导致的负向效应

🔍 大厂面试官连环追问 (Follow-ups)

  • switchback 的结转效应(carryover)怎么处理?
  • 如何估计均衡反馈项?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.
🎯 Drill This Card Now➔