M7-099M7: 检索、排序与推荐系统在线指标与实验Hard
⚡闪卡盲测➔掌握度:
解释 A/B 实验的样本量计算与最小可检测效应(MDE)
🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
📐 核心数学机理公式
⚡ 一句话直击要害答案
样本量 ∝ 方差 / MDE²;MDE 是'能检出的最小效应',需与业务意义平衡(太小则样本量爆炸)。
📌 核心要点提炼
- •MDE:能检出的最小效应(如 +0.5% CTR)
- •样本量 ∝ σ²/MDE²(MDE 减半则样本量 ×4)
- •MDE 需与'业务意义'平衡(太小则样本量不可行)
📐 数学机理与严密推导
数学机理:样本量计算的原理——(1) 目标——在给定'显著性水平 α'(如 0.05)与'统计功效 1−β'(如 0.8)下,检出'最小可检测效应(MDE)'所需的最少样本量。(2) 公式(两样本均值比较)——n ≈ 2(z_{1−α/2}+z_{1−β})²·σ²/MDE²,其中 (a) σ²——指标的方差(CTR 的方差 = p(1−p));(b) MDE——要检出的效应(绝对值,如 0.005 = 0.5%);(c) z——正态分位数(α=0.05 时 z≈1.96;功效 0.8 时 z≈0.84)。(3) 关键关系——样本量 ∝ σ²/MDE²:(a) MDE 减半 → 样本量 ×4(平方关系);(b) 方差减半 → 样本量减半(线性);(c) 功效提高(如 0.8→0.9)→ 样本量 ×1.3;(d) α 减小(如 0.05→0.01)→ 样本量 ×1.6。(4) MDE 的选择(关键权衡)——(a) 太小——样本量爆炸(如 MDE 0.1% 需要数百万样本、跑数周);(b) 太大——错过'小但重要'的改进(如 +0.5% 的 CTR 提升可能值数百万);(c) 实用做法——(i) 按'业务价值'定('多大的提升值得上线');(ii) 按'可行的实验时长'反推(如'一周能收集多少样本 → 能检出多大 MDE');(iii) 参考历史实验的典型效应;(d) 注意——MDE 是'相对'还是'绝对'(CTR +0.5% 是相对还是绝对?需明确)。(5) 降方差以提高'有效样本量'——(a) CUPED(用实验前数据;常降 30%~50% 方差 → 相当于样本量 ×2~4);(b) 分层;(c) 协变量调整;(d) 更长的基线期(更稳的协变量);(e) 效果——降方差'等效于'增加样本量(但成本更低)。(6) 实际考量——(a) 流量约束(每天能分配多少用户);(b) 实验时长(= 所需样本量 / 日流量);(c) 周期效应(需覆盖完整周期,如'一周'以包含周末);(d) '新奇效应'(前几天的效应可能不代表长期);(e) '多指标'(每个指标都需要样本量;多重比较需校正)。(7) 与'最小可检测效应'的关系——(a) MDE 是'设计参数'(事前定);(b) 实际效应可能小于 MDE(则检不出);(c) '不显著'不等于'没效果'(可能是样本量不足)——这是重要的解释纪律。与其他问题的关系——(a) 与'统计显著性'(M5 的评估题);(b) 与'多重比较'(下一题);(c) 与'CUPED'(实验平台题)。实践建议——(a) 事前算样本量(用公式或平台工具);(b) MDE 按业务价值定(并考虑可行性);(c) 用 CUPED 降方差(等效增样本);(d) 覆盖完整周期(含周末);(e) '不显著'的解释要谨慎(可能是样本不足);(f) 多指标时校正。度量——(a) 所需样本量与实验时长;(b) 实际 MDE(事后);(c) CUPED 的方差降低比例;(d) 实验的检出力。
🏭 深度剖析与工业落地权衡
深度剖析与工程权衡:① 'MDE 减半则样本量 ×4'是平方关系——这是最实用的量化直觉;面试中能给出是深度理解的标志。② 'MDE 需与业务价值平衡'——太小则不可行、太大则错过改进。③ 'CUPED 等效于增样本'——降方差是'免费的样本量'。④ '不显著 ≠ 没效果'——可能是样本不足;这是重要的解释纪律。⑤ '覆盖完整周期'——避免'周末效应'的偏置。⑥ 面试要点——被问'A/B 需要多少样本',应给出'n ∝ σ²/MDE² + MDE 的业务权衡 + CUPED 降方差 + 完整周期 + 不显著的解释';能给出'平方关系'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
- ✕事后解释'不显著'为'没效果'(可能样本不足)
- ✕MDE 设得过小导致实验无法完成
🎯 面试官连环追问与延伸考察
- ?为什么 MDE 减半样本量要 ×4?
- ?如何选 MDE?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!