M1-011Hard指标口径 · Metric definitions

比率指标(如 CTR = clicks / impressions)在做实验时有什么特殊风险?

Ratio metrics such as CTR = clicks / impressions: what is special about them in experiments?
💡 考场高分一句话答案:

分子分母都是随机变量且相关,方差不能按简单二项式算;分母还会被处理效应改变(如新 UI 改变曝光量),导致选择性偏差。

Both numerator and denominator are random and correlated, so the variance is not binomial, and the denominator can itself be moved by the treatment, creating selection effects.

📌 核心考察要点 (Key Points)

  • 方差问题:$\mathrm{Var}(C/I)$ 需要 delta method 或 bootstrap,直接用二项方差会低估
  • 分母内生:改动可能改变曝光数(如更激进的加载),此时“CTR 上升”可能只是分母缩水
  • 分析单位:应按随机化单位(用户)聚合后再算比率,而不是把 impression 当独立样本
  • 护栏:同时报告分子与分母的绝对变化,防止“比率好看、总量变差”
  • Variance: $\mathrm{Var}(C/I)$ needs the delta method or a bootstrap; the naive binomial variance understates it
  • Endogenous denominator: the change may alter impression volume, so 'CTR up' can simply mean the denominator shrank
  • Unit of analysis: aggregate to the randomisation unit (user) before computing the ratio, never treat impressions as independent
  • Guardrail: always report the absolute change in numerator and denominator so you catch 'ratio good, volume bad'

📐 第一性原理与数理推导机理

delta method:设 $R=C/I$,$\mu_C,\mu_I$ 为均值,则$$\mathrm{Var}(R)\approx\frac{1}{\mu_I^2}\left[\mathrm{Var}(C)-2\frac{\mu_C}{\mu_I}\mathrm{Cov}(C,I)+\frac{\mu_C^2}{\mu_I^2}\mathrm{Var}(I)\right]$$若忽略协方差项,在 $C$ 与 $I$ 正相关时会高估方差(保守),负相关时会低估(危险)。实务中更稳的做法是按用户聚合成 $(C_u, I_u)$ 后做 bootstrap。

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

Google 内部常用 triggered analysis 处理分母问题:只分析“真正被改动影响”的曝光,避免未触发流量稀释效应。这与“分母内生”是同一个问题的两种解法——一个是限定分母,一个是显式建模分母变化。

⚠️ 常见高频面试陷阱与避坑指南

  • 把 impression 当独立样本做 t 检验——方差被严重低估,p 值虚小
  • 只看 CTR 不看 impressions 总量

🔍 大厂面试官连环追问 (Follow-ups)

  • 什么时候必须用 delta method 而不能用二项检验?
  • 如何检测“分母被处理效应改变”这件事?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔