M1-001Easy指标树实例 · Metric trees
如何衡量 Google Search 是否成功?
How would you measure whether Google Search is successful?
💡 考场高分一句话答案:
OEC 是“用户任务成功率 × 满意度”,用无点击满足率、refinement rate、back-button rate 作输入,用延迟与 ad load 作护栏。
The OEC is task success times satisfaction, with no-click satisfaction, refinement rate and back-button rate as inputs, and latency plus ad load as guardrails.
📌 核心考察要点 (Key Points)
- 先定义成功:用户带着信息需求来,快速、可信地得到答案并愿意再来
- 输入指标:top-1 点击率、refinement rate(改词重搜说明第一次没满足)、back-button rate、无点击满足率
- 护栏:p95 latency、ad load、低质/spam 占比、无结果率
- 长期锚点:D30 回访率、满意度调查(随机抽样,非每次询问)
- Define success first: the user arrives with an information need, gets an answer quickly and trustworthily, and is willing to come back
- Inputs: top-1 CTR, refinement rate (reformulating means the first attempt failed), back-button rate, no-click satisfaction
- Guardrails: p95 latency, ad load, low-quality/spam share, zero-result rate
- Long-run anchor: D30 return rate and sampled satisfaction surveys
📐 第一性原理与数理推导机理
Search 的特殊性在于“成功”常常表现为没有点击——答案直接在结果页被满足。因此纯 CTR 类指标会系统性低估好的改动。这就是为什么 Google 大量使用“无点击满足(no-click satisfaction)”与 side-by-side 人工评估,而不是单一 CTR。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
真实决策中还要区分 query 类型:导航型(navigational)、信息型(informational)、交易型(transactional)的成功定义完全不同。导航型看“是否第一个就点对”,信息型看“是否不再重搜”,交易型看“是否完成转化”。不分层会把三类混在一起,导致任何改动都“没有显著效果”。
⚠️ 常见高频面试陷阱与避坑指南
- 只报 CTR 和 DAU——这两个指标对大多数 Search 改动都不敏感
- 忽略 query 分层,导致效应被稀释
🔍 大厂面试官连环追问 (Follow-ups)
- 如果无点击满足率上升但 D30 回访下降,你怎么解释?
- 如何用数据区分“用户满意地离开”和“用户失望地放弃”?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.