M1-006Medium指标框架 · Metric frameworks🔥 大厂高频出现 6 次
什么是 OEC?怎么为一个具体改动构造 OEC?
What is an OEC, and how do you construct one for a specific change?
💡 考场高分一句话答案:
OEC 是 Overall Evaluation Criterion——用于判断实验成败的单一综合准则;构造时要求它同时满足“敏感、抗操纵、与长期价值同向”。
The Overall Evaluation Criterion is the single composite used to judge an experiment; it must be sensitive, game-resistant and aligned with long-term value.
📌 核心考察要点 (Key Points)
- 来源:Kohavi 等在《Trustworthy Online Controlled Experiments》中系统化,Google 内部广泛使用
- 构造步骤:明确长期目标 → 找可短期观测的代理 → 验证代理与长期目标的历史相关性 → 定义组合方式(加权或比值)
- 常见形式:单一指标、加权组合(需归一化)、good:bad 比值、约束优化(主指标 + 硬约束)
- 验证:用历史实验回测——OEC 方向是否与事后长期结论一致
- Origin: systematised by Kohavi et al. in Trustworthy Online Controlled Experiments, and used widely inside Google
- Construction: name the long-term goal, find a short-term observable proxy, validate its historical correlation with the long-term goal, then define the combination rule
- Common forms: a single metric, a weighted composite (normalised), a good-to-bad ratio, or a constrained optimisation
- Validation: backtest on historical experiments — does the OEC direction match the eventual long-term conclusion?
📐 第一性原理与数理推导机理
加权 OEC 的陷阱是量纲与方差。若 $\text{OEC}=\sum_k w_k z_k$,则 $\mathrm{Var}(\text{OEC})=\sum_k w_k^2\mathrm{Var}(z_k)+2\sum_{j<k}w_jw_k\mathrm{Cov}(z_j,z_k)$。方差大的指标会主导 OEC 的波动,等价于隐式给了它更高的权重。因此加权前必须标准化,并检查协方差结构。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
实践中更稳妥的是约束式 OEC:选一个主指标最大化,其余作为硬约束(如“留存不得下降超过 0.5%”)。这样避免了权重的主观性,也更容易向业务方解释。Google 的 launch review 通常就是这种形式。
⚠️ 常见高频面试陷阱与避坑指南
- 把 OEC 当成“多个指标的简单平均”,导致方差大的指标主导结论
- OEC 只在实验期测,从不做长期回测验证
🔍 大厂面试官连环追问 (Follow-ups)
- 如何验证一个 OEC 是否“敏感”?
- 如果 OEC 上升但业务方直觉认为不对,你怎么办?
🎯 关联大厂考题实战训练 (6 题)
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!