M8-083M8: 系统架构、MLOps 与工程实战研究能力:实验设计与消融Medium
⚡闪卡盲测➔掌握度:

如何做统计功效分析与样本量估计?

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M8-084 →
📐 核心数学机理公式
n≈2σ2(z1−α/2+z1−β)2δ2n\approx \frac{2\sigma^{2}(z_{1-\alpha/2}+z_{1-\beta})^{2}}{\delta^{2}}
⚡ 一句话直击要害答案
先确定最小可检测效应、显著性水平与目标功效,再反推所需的样本量或随机种子数,避免功效不足导致假阴性或过度实验浪费资源。

📌 核心要点提炼

  • •
    三个输入——最小可检测效应 δ、显著性水平 α、目标功效 1-β
  • •
    功效(power)——真实存在差异时能检测到的概率,常用 0.8
  • •
    样本量——n 随 δ 减小而增大、随 σ 增大而增大
  • •
    在 ML 中——'样本'常为随机种子数/评估样本数/用户数(A/B 实验)
  • •
    预注册——实验前定好协议与假设,避免事后调参

📐 数学机理与严密推导

数学机理:统计功效分析(power analysis)——(1) 四个相关量——(a) 效应量 δ——希望检测到的最小差异(最小可检测效应 MDE);(b) 显著性水平 α——假阳性率(通常 0.05);(c) 功效 1-β——真阳性率(检测到真实差异的概率,常取 0.8);(d) 样本量 n——四个量中给定三个可求第四个。(2) 样本量公式(两样本均值比较)——(a) n ≈ 2σ²(z_{1-α/2} + z_{1-β})² / δ²;(b) 含义——n 与 σ² 成正比(噪声大需更多样本)、与 δ² 成反比(想检测更小的差异需更多样本);(c) z 分位数来自标准正态。(3) 在 ML 实验中的应用——(a) '样本'的多种含义——(i) 随机种子数——多种子平均降低方差;(ii) 评估集大小——测试样本越多,指标估计越稳;(iii) A/B 实验的用户数——在线实验的样本量;(b) 种子数——若种子间标准差为 s,想检测差异 δ,则种子数 n ≈ 2s²(z+z)²/δ²。(4) 功效不足的后果——(a) 假阴性——真实存在差异却检测不到(结论'无差异'是错的);(b) 浪费——实验做了但结论不可靠;(c) 对策——实验前做功效分析,确保 n 足够。(5) 功效过高的代价——(a) 样本过多 → 检测到无实际意义的微小差异(统计显著但效应量小);(b) 故——同时设定 MDE(最小可检测效应),只关心有实际意义的差异。(6) A/B 实验的样本量——(a) 公式扩展——涉及基线转化率、MDE、α、β、分流比例;(b) 实践——用在线计算器/工具;(c) 注意——方差估计、多重比较、新颖效应(novelty effect)会影响实际所需样本。(7) 预注册(pre-registration)——(a) 做法——实验前写下假设、指标、样本量、分析计划;(b) 作用——防止事后挑选有利结果(HARKing)与 p-hacking;(c) 在 ML——定好协议与种子数。(8) 实践建议——(a) 先估方差——用少量种子估计 s;(b) 定 MDE——基于实际意义(如提升 1% 才值得上线);(c) 算 n——用公式或工具;(d) 记录——在论文/报告中说明功效分析。与其他问题的关系——(a) 与显著性检验;(b) 与方差处理(σ 的来源);(c) 与在线实验设计(样本量)。度量——(a) 功效(1-β);(b) MDE;(c) 实际种子数/样本量 vs 所需。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① 功效不足会导致假阴性——'无差异'的结论可能是样本不够;面试中能指出这点是深度理解的标志。② n 与 δ² 成反比——检测更小差异需更多样本(平方关系)。③ n 与 σ² 成正比——噪声大需更多样本。④ 同时设 MDE——避免样本过多检测到无意义的微小差异。⑤ ML 中'样本'可为种子数或评估样本数——需明确。⑥ 预注册防 HARKing——实验前定协议。⑦ 面试要点——被问怎么定实验规模,应给出'确定 MDE、α、功效 → 估计方差 σ → 用公式算 n(种子数/评估样本/用户数)→ 预注册协议';能指出功效不足导致假阴性与 n∝1/δ² 是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    不做功效分析就下'无差异'结论
  • ✕
    只追统计显著而不设 MDE(检测到无意义差异)
🎯 面试官连环追问与延伸考察
  • ?
    为什么功效不足会导致假阴性?
  • ?
    效应量越小为什么需要越多样本?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M8-082: 如何避免'调参偏向自己方法'的偏差?📋 返回题库下一题 →M8-084: 如何设计公平的对比协议?