M1-006Medium指标框架 · Metric frameworks🔥 大厂高频出现 6 次

什么是 OEC?怎么为一个具体改动构造 OEC?

What is an OEC, and how do you construct one for a specific change?
💡 考场高分一句话答案:

OEC 是 Overall Evaluation Criterion——用于判断实验成败的单一综合准则;构造时要求它同时满足“敏感、抗操纵、与长期价值同向”。

The Overall Evaluation Criterion is the single composite used to judge an experiment; it must be sensitive, game-resistant and aligned with long-term value.

📌 核心考察要点 (Key Points)

  • 来源:Kohavi 等在《Trustworthy Online Controlled Experiments》中系统化,Google 内部广泛使用
  • 构造步骤:明确长期目标 → 找可短期观测的代理 → 验证代理与长期目标的历史相关性 → 定义组合方式(加权或比值)
  • 常见形式:单一指标、加权组合(需归一化)、good:bad 比值、约束优化(主指标 + 硬约束)
  • 验证:用历史实验回测——OEC 方向是否与事后长期结论一致
  • Origin: systematised by Kohavi et al. in Trustworthy Online Controlled Experiments, and used widely inside Google
  • Construction: name the long-term goal, find a short-term observable proxy, validate its historical correlation with the long-term goal, then define the combination rule
  • Common forms: a single metric, a weighted composite (normalised), a good-to-bad ratio, or a constrained optimisation
  • Validation: backtest on historical experiments — does the OEC direction match the eventual long-term conclusion?

📐 第一性原理与数理推导机理

加权 OEC 的陷阱是量纲与方差。若 $\text{OEC}=\sum_k w_k z_k$,则 $\mathrm{Var}(\text{OEC})=\sum_k w_k^2\mathrm{Var}(z_k)+2\sum_{j<k}w_jw_k\mathrm{Cov}(z_j,z_k)$。方差大的指标会主导 OEC 的波动,等价于隐式给了它更高的权重。因此加权前必须标准化,并检查协方差结构。

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

实践中更稳妥的是约束式 OEC:选一个主指标最大化,其余作为硬约束(如“留存不得下降超过 0.5%”)。这样避免了权重的主观性,也更容易向业务方解释。Google 的 launch review 通常就是这种形式。

⚠️ 常见高频面试陷阱与避坑指南

  • 把 OEC 当成“多个指标的简单平均”,导致方差大的指标主导结论
  • OEC 只在实验期测,从不做长期回测验证

🔍 大厂面试官连环追问 (Follow-ups)

  • 如何验证一个 OEC 是否“敏感”?
  • 如果 OEC 上升但业务方直觉认为不对,你怎么办?

🎯 关联大厂考题实战训练 (6 题)

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔