M1-086M1: Mathematics & Statistics Fundamentals实验设计 (A/B)Hard
Mastery:

实验设计 (A/B): 解释触发器分析(Trigger Analysis)与它在实验中的应用。

📐 Mathematical Definition
trigger:subset actually exposed to the treatment\text{trigger}: \text{subset actually exposed to the treatment}
⚡ Executive Summary
Core Concept: 只分析'实际受处理影响'的子群(被触发器激活的用户),提升功效并聚焦机制。

📌 Key Takeaways

  • •
    适合处理只影响部分用户的场景(如只影响特定页面)
  • •
    需在实验前定义触发器且不能依赖处理

📐 Mathematical Derivations

问题的背景:很多处理只影响<strong>部分用户</strong>——例如'优化搜索框的排序'只影响<strong>发起搜索</strong>的用户,'改进结账页'只影响<strong>进入结账流程</strong>的用户。若对全体用户分析,大部分用户的指标不受影响(他们的指标只是噪声),导致<strong>效应被稀释</strong>(观测到的平均效应 = 真实效应 × 受影响比例),功效大幅下降。<strong>触发器分析(trigger analysis / exposed analysis)</strong> 的做法是:只在'实际受处理影响'的子群(触发器激活的用户)上分析。<strong>统计上的关键区别</strong>:触发器必须是<strong>实验前可定义</strong>的、且<strong>不受处理影响</strong>的变量(如'是否发起搜索'——用户的搜索意图与处理无关)。此时触发组内的分析是<strong>无偏</strong>的(因为触发器与处理分配独立),且功效更高(效应不被稀释)。反之,若用<strong>处理后</strong>的变量定义子群(如'是否点击了按钮'),则会产生<strong>选择偏差</strong>(处理改变了谁进入子群),这类分析被称为'条件化在结果上',是严重错误。

🏭 Production Trade-offs

实践要点:① <strong>触发器 vs 后分层</strong>——触发器是实验前定义的(无偏),后分层是实验后按协变量加权(也需实验前协变量);两者的共同要求是<strong>不能用处理后的变量</strong>。② <strong>触发器 vs CUPED</strong>——触发器提升功效的方式是'剔除不受影响的样本'(提高信噪比),CUPED 是'用协变量降方差';两者可叠加。③ <strong>触发器的常见类型</strong>——(a) <strong>页面/功能触发</strong>(访问了被改动的页面);(b) <strong>意图触发</strong>(发起搜索、打开结账);(c) <strong>设备触发</strong>(移动端用户,若改动只影响移动端)。④ <strong>报告规范</strong>——应同时报告'全体效应'与'触发组效应':全体效应反映<strong>业务总体影响</strong>(决策依据),触发组效应反映<strong>机制效应</strong>(理解为何有效);只报触发组效应会夸大业务影响。⑤ <strong>稀释比例的估计</strong>——触发组占比可从数据估计,用于把触发组效应换算为全体效应(全体效应 ≈ 触发组效应 × 触发比例)。⑥ <strong>陷阱</strong>——(a) 用处理后变量定义触发器(选择偏差);(b) 只报触发组效应而误导业务(夸大);(c) 触发器定义过于宽泛(稀释仍严重)或过窄(样本不足)。
⚠️ Common Interview Pitfalls
  • ✕
    用处理后的行为(如是否点击)定义触发器(选择偏差)
  • ✕
    只报触发组效应而不报全体效应
🎯 Interviewer Follow-ups
  • ?
    触发器分析与 CUPED 的区别?
  • ?
    如何避免用结果定义触发器?
📚

Associated Knowledge Base Guides & Mindmaps

Explore the comprehensive technical article, exam cards, and global architecture tree.

← PreviousM1-085: 实验设计 (A/B): 解释网络效应/干扰下为什么个体随机化会失效,以及如何应对。📋Back to BankNext →M1-087: 实验设计 (A/B): 解释如何评估实验的长期效应(超越短期指标)。