M7-100M7: 检索、排序与推荐系统在线指标与实验Hard
⚡闪卡盲测➔掌握度:

解释多重比较与序贯检验(FDR / Alpha Spending)

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M7-101 →
📐 核心数学机理公式
FWER=1−(1−α)m;alpha spending: α(t) sums to α\text{FWER}=1-(1-\alpha)^m;\qquad \text{alpha spending}:\ \alpha(t)\ \text{sums to }\alpha
⚡ 一句话直击要害答案
多指标/多次看数据会推高假阳性率;用 FDR/Bonferroni 校正多重比较,用 alpha spending 处理序贯检验。

📌 核心要点提炼

  • •
    多重比较:m 个指标同时检验 → FWER≈1−(1−α)^m
  • •
    校正:Bonferroni(α/m,保守)、FDR(BH,更宽松)
  • •
    序贯检验:多次偷看数据 → 用 alpha spending 分配 α

📐 数学机理与严密推导

数学机理:多重比较问题——(1) FWER(Family-Wise Error Rate)——'至少一个假阳性'的概率;若检验 m 个独立指标、每个 α=0.05,则 FWER=1−(1−α)^m;(a) m=10 → FWER≈40%;(b) m=50 → FWER≈92%;(c) 后果——'某个指标显著'很可能是偶然。(2) 校正方法——(a) Bonferroni——每个检验用 α/m;优点——简单、严格控制 FWER;缺点——过于保守(尤其 m 大时,功效极低);(b) FDR(False Discovery Rate,Benjamini-Hochberg)——控制'被拒绝的假设中假阳性的比例'(而非'至少一个假阳性');做法——把 p 值排序、与 (i/m)·q 比较;优点——(i) 比 Bonferroni 宽松(功效更高);(ii) 适合'探索性'分析(多个指标);缺点——不严格控制 FWER(允许少量假阳性);(c) Holm(Bonferroni 的改进,逐步法);(d) 分层/预注册——(i) 预注册主指标(只对主指标检验);(ii) 分层检验(先主指标、通过再看次要);优点——避免'多重比较'(因为只检验一个主指标)。(3) 序贯检验(sequential testing)——(a) 问题——若在实验过程中多次偷看数据(每天看一次),则'当结果显著时停止'会推高假阳性(因为每次看都是一次'检验');(b) 量化——若偷看 10 次,假阳性率可从 5% 升到 ~20%;(c) 后果——'早停的显著结果'不可靠。(4) Alpha spending(alpha 消耗)——(a) 做法——把总的 α(如 0.05)分配到各次检验(如 O'Brien-Fleming 边界:早期用很小的 α、后期用较大的 α);(b) 特点——所有检验的'累积 α'不超过总 α;(c) 优点——(i) 允许'中期分析'(早停);(ii) 控制总体假阳性率;(d) 变体——(i) O'Brien-Fleming(早期严格、后期宽松——适合'不想早期停');(ii) Pocock(各次等 α——适合'想早期停');(iii) 信息时间(按样本量比例分配 α)。(5) 其他——(a) 组序贯设计(group sequential);(b) 贝叶斯方法(后验概率而非 p 值);(c) Always-valid p-values(任何时间都可看)。与其他问题的关系——(a) 与'样本量计算'(同一实验设计框架);(b) 与'护栏指标'(护栏多则需校正);(c) 与'统计显著性'(M5 的评估题)。实践建议——(a) 预注册主指标(避免多重比较);(b) 多指标用 FDR(比 Bonferroni 宽松);(c) 早停用 alpha spending(控制假阳性);(d) 不要'无计划地偷看';(e) 记录'偷看次数'(用于校正);(f) 贝叶斯/always-valid(更灵活的选择)。度量——(a) 校正后的显著性;(b) 假阳性率(模拟验证);(c) 功效(校正后的检出力);(d) 早停的可靠性。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 'FWER≈1−(1−α)^m'是实用的量化——10 个指标时约 40%;面试中能给出是深度理解的标志。② 'FDR 比 Bonferroni 宽松'——适合探索性分析(多指标);Bonferroni 过于保守。③ '偷看数据推高假阳性'——这是最常见的实验陷阱;故需 alpha spending。④ '预注册主指标'是根本解法——只检验一个主指标则无多重比较问题。⑤ 'O'Brien-Fleming 早期严格'——适合'不想早期停'的场景;Pocock 相反。⑥ 面试要点——被问'多指标/早停怎么办',应给出'FWER 与 FDR + Bonferroni vs FDR + 序贯检验与 alpha spending + 预注册主指标';能给出'FWER≈1−(1−α)^m'是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    多指标不做校正(假阳性)
  • ✕
    无计划地偷看数据并早停(假阳性推高)
🎯 面试官连环追问与延伸考察
  • ?
    为什么'偷看数据'会推高假阳性?
  • ?
    FDR 与 FWER 的差异?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M7-099: 解释 A/B 实验的样本量计算与最小可检测效应(MDE)📋 返回题库下一题 →M7-101: 解释分层实验与互斥域(Layer / Domain)