M3-009Medium结果解读 · Interpretation

实验里你看了 20 个分群切片,其中一个显著(p=0.03)。能信吗?

You look at 20 segment slices and one is significant at p=0.03. Can you believe it?
💡 考场高分一句话答案:

不能。20 次独立检验在 α=0.05 下期望产生 1 个假阳性;必须做多重比较校正或标为探索性假设。

No. Twenty independent tests at alpha 0.05 produce about one false positive by construction. Correct for multiplicity or treat it as exploratory.

📌 核心考察要点 (Key Points)

  • Bonferroni:$\alpha'=\alpha/m$,保守但简单;20 个切片则阈值 0.0025
  • BH-FDR:控制错误发现率,功效更高,适合探索性分析
  • 分层检验(hierarchical testing):先检验总体,显著才看切片;或只在预注册的切片上看
  • 正确姿势:切片结果作为“生成假设”,需要用新实验验证
  • Bonferroni: $\alpha'=\alpha/m$; for 20 slices the threshold is 0.0025. Conservative but simple
  • BH-FDR: controls the false discovery rate and retains more power, better for exploratory work
  • Hierarchical testing: test the overall effect first and only slice if it is significant, or restrict to pre-registered slices
  • Correct framing: slice results generate hypotheses that need a fresh experiment

📐 第一性原理与数理推导机理

族错误率(FWER)在 $m$ 次独立检验下为 $1-(1-\alpha)^m$。$m=20,\alpha=0.05$ 时约 64%——也就是说即使全部无效,也有 64% 概率至少看到一个“显著”。这就是为什么不能直接信单点切片。

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

实务中的折中方案是预注册切片 + 效应一致性检验:如果某个切片真的有效应,通常相邻切片(如相近年龄段)也会呈现同方向效应;孤立的显著点更可能是噪声。这个“一致性”判据比任何校正都更实用。

⚠️ 常见高频面试陷阱与避坑指南

  • 对最显著的切片讲故事(HARKing)
  • 用 Bonferroni 校正所有切片,导致功效过低什么都测不出

🔍 大厂面试官连环追问 (Follow-ups)

  • 什么时候应该用 FDR 而不是 Bonferroni?
  • 如何区分“真实异质性”与“多重比较噪声”?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔