M1-084M1: Mathematics & Statistics Fundamentals实验设计 (A/B)Hard
Mastery:

实验设计 (A/B): 解释 switchback 实验与它的适用场景。

📐 Mathematical Definition
switchback:alternate treatments over time windows\text{switchback}: \text{alternate treatments over time windows}
⚡ Executive Summary
Core Concept: 在时间维度上交替切换处理/对照,适用于无法在个体层面随机化的场景(如定价、算法全量)。

📌 Key Takeaways

  • •
    适用于干扰强或无法个体随机化的场景
  • •
    需处理时间趋势与自相关

📐 Mathematical Derivations

switchback(时间轮换)实验的设计:把实验期切成若干<strong>时间窗</strong>(如每小时、每天),在每个时间窗内<strong>全量</strong>施加一种处理(A 或 B),并在时间上交替切换(如 A-B-A-B…或随机顺序)。<strong>适用场景</strong>:① <strong>无法个体随机化</strong>——如平台级定价、算法全量切换、UI 全站改版(同一时刻所有用户看到相同版本);② <strong>干扰极强</strong>——双边市场(买卖双方互相影响)、共享资源(库存/运力)、社交网络(用户间传播);此时个体随机化的 SUTVA 严重违反,集群随机化也可能不够(集群间仍有溢出),时间轮换把'干扰'限制在时间窗内。<strong>代价</strong>:① <strong>时间混淆</strong>——处理效应与时间趋势(小时效应、日效应、节假日)混杂,需用<strong>交替/随机顺序</strong>并对时间效应建模;② <strong>自相关</strong>——相邻时间窗的数据相关,需用 block bootstrap 或 HAC 标准误;③ <strong>有效样本量降低</strong>——同一时间窗内所有用户共享同一处理,等效样本量从'用户数'降为'时间窗数'(这使功效大幅下降,需更多时间窗)。

🏭 Production Trade-offs

设计与分析要点:① <strong>时间窗长度</strong>——需平衡两个冲突:窗太短则切换频繁(用户可能感知不一致、系统开销大)、窗太长则时间窗数少(功效低、易受趋势影响);通常取数小时到一天,并保证覆盖完整周期(如整数个星期)。② <strong>随机化顺序</strong>——用<strong>随机顺序</strong>(而非固定交替)可避免与周期性因素混淆;或用 <strong>ABBA 平衡设计</strong>抵消线性趋势。③ <strong>分析方法</strong>——用带时间固定效应的回归(把每个时间窗作为一个观测,处理作为自变量),或用<strong>配对</strong>(相邻的 A/B 窗配对相减)消除缓慢趋势;标准误需用 block bootstrap 或 HAC 处理自相关。④ <strong>与集群随机化的对比</strong>——集群随机化保留个体层面的数据(功效高)但需集群间无溢出;switchback 彻底避免溢出但功效低;选择取决于干扰的强度与范围。⑤ <strong>实例</strong>——网约车定价、外卖配送费、共享单车的调度算法、云服务的容量策略都常用 switchback。⑥ <strong>陷阱</strong>——(a) 忽略时间趋势(把趋势误当效应);(b) 用个体级标准误(低估方差);(c) 时间窗太短导致用户困惑(同一用户在不同窗看到不同价格,可能引发投诉)。
⚠️ Common Interview Pitfalls
  • ✕
    switchback 忽略时间趋势(把趋势误当效应)
  • ✕
    用个体级标准误分析 switchback(应按时段聚类)
🎯 Interviewer Follow-ups
  • ?
    switchback 与集群随机化的取舍?
  • ?
    如何分析 switchback 数据?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM1-083: 实验设计 (A/B): 解释分层随机化与它何时必要。📋Back to BankNext →M1-085: 实验设计 (A/B): 解释网络效应/干扰下为什么个体随机化会失效,以及如何应对。