Online Metrics & Guardrails: 解释 A/B 实验的样本量计算与最小可检测效应（MDE）。

Core Concept: 样本量 ∝ 方差 / MDE²；MDE 是'能检出的最小效应'，需与业务意义平衡（太小则样本量爆炸）。

数学机理：<strong>样本量计算的原理</strong>——(1) <strong>目标</strong>——在给定'显著性水平 α'（如 0.05）与'统计功效 1−β'（如 0.8）下，检出'最小可检测效应（MDE）'所需的最少样本量。(2) <strong>公式（两样本均值比较）</strong>——n ≈ 2(z_{1−α/2}+z_{1−β})²·σ²/MDE²，其中 (a) <strong>σ²</strong>——指标的方差（CTR 的方差 = p(1−p)）；(b) <strong>MDE</strong>——要检出的效应（绝对值，如 0.005 = 0.5%）；(c) <strong>z</strong>——正态分位数（α=0.05 时 z≈1.96；功效 0.8 时 z≈0.84）。(3) <strong>关键关系</strong>——<strong>样本量 ∝ σ²/MDE²</strong>：(a) <strong>MDE 减半 → 样本量 ×4</strong>（平方关系）；(b) <strong>方差减半 → 样本量减半</strong>（线性）；(c) <strong>功效提高（如 0.8→0.9）→ 样本量 ×1.3</strong>；(d) <strong>α 减小（如 0.05→0.01）→ 样本量 ×1.6</strong>。(4) <strong>MDE 的选择（关键权衡）</strong>——(a) <strong>太小</strong>——样本量爆炸（如 MDE 0.1% 需要数百万样本、跑数周）；(b) <strong>太大</strong>——错过'小但重要'的改进（如 +0.5% 的 CTR 提升可能值数百万）；(c) <strong>实用做法</strong>——(i) <strong>按'业务价值'定</strong>（'多大的提升值得上线'）；(ii) <strong>按'可行的实验时长'反推</strong>（如'一周能收集多少样本 → 能检出多大 MDE'）；(iii) <strong>参考历史实验的典型效应</strong>；(d) <strong>注意</strong>——MDE 是'相对'还是'绝对'（CTR +0.5% 是相对还是绝对？需明确）。(5) <strong>降方差以提高'有效样本量'</strong>——(a) <strong>CUPED</strong>（用实验前数据；常降 30%~50% 方差 → 相当于样本量 ×2~4）；(b) <strong>分层</strong>；(c) <strong>协变量调整</strong>；(d) <strong>更长的基线期</strong>（更稳的协变量）；(e) <strong>效果</strong>——降方差'等效于'增加样本量（但成本更低）。(6) <strong>实际考量</strong>——(a) <strong>流量约束</strong>（每天能分配多少用户）；(b) <strong>实验时长</strong>（= 所需样本量 / 日流量）；(c) <strong>周期效应</strong>（需覆盖完整周期，如'一周'以包含周末）；(d) <strong>'新奇效应'</strong>（前几天的效应可能不代表长期）；(e) <strong>'多指标'</strong>（每个指标都需要样本量；多重比较需校正）。(7) <strong>与'最小可检测效应'的关系</strong>——(a) <strong>MDE 是'设计参数'</strong>（事前定）；(b) <strong>实际效应</strong>可能小于 MDE（则检不出）；(c) <strong>'不显著'不等于'没效果'</strong>（可能是样本量不足）——这是重要的解释纪律。<strong>与其他问题的关系</strong>——(a) 与'统计显著性'（M5 的评估题）；(b) 与'多重比较'（下一题）；(c) 与'CUPED'（实验平台题）。<strong>实践建议</strong>——(a) <strong>事前算样本量</strong>（用公式或平台工具）；(b) <strong>MDE 按业务价值定</strong>（并考虑可行性）；(c) <strong>用 CUPED 降方差</strong>（等效增样本）；(d) <strong>覆盖完整周期</strong>（含周末）；(e) <strong>'不显著'的解释要谨慎</strong>（可能是样本不足）；(f) <strong>多指标时校正</strong>。<strong>度量</strong>——(a) 所需样本量与实验时长；(b) 实际 MDE（事后）；(c) CUPED 的方差降低比例；(d) 实验的检出力。

深度剖析与工程权衡：① <strong>'MDE 减半则样本量 ×4'是平方关系</strong>——这是最实用的量化直觉；面试中能给出是深度理解的标志。② <strong>'MDE 需与业务价值平衡'</strong>——太小则不可行、太大则错过改进。③ <strong>'CUPED 等效于增样本'</strong>——降方差是'免费的样本量'。④ <strong>'不显著 ≠ 没效果'</strong>——可能是样本不足；这是重要的解释纪律。⑤ <strong>'覆盖完整周期'</strong>——避免'周末效应'的偏置。⑥ <strong>面试要点</strong>——被问'A/B 需要多少样本'，应给出'<strong>n ∝ σ²/MDE² + MDE 的业务权衡 + CUPED 降方差 + 完整周期 + 不显著的解释</strong>'；能给出'平方关系'是深度理解的标志。