M1-001Easy指标树实例 · Metric trees

如何衡量 Google Search 是否成功?

How would you measure whether Google Search is successful?
💡 考场高分一句话答案:

OEC 是“用户任务成功率 × 满意度”,用无点击满足率、refinement rate、back-button rate 作输入,用延迟与 ad load 作护栏。

The OEC is task success times satisfaction, with no-click satisfaction, refinement rate and back-button rate as inputs, and latency plus ad load as guardrails.

📌 核心考察要点 (Key Points)

  • 先定义成功:用户带着信息需求来,快速、可信地得到答案并愿意再来
  • 输入指标:top-1 点击率、refinement rate(改词重搜说明第一次没满足)、back-button rate、无点击满足率
  • 护栏:p95 latency、ad load、低质/spam 占比、无结果率
  • 长期锚点:D30 回访率、满意度调查(随机抽样,非每次询问)
  • Define success first: the user arrives with an information need, gets an answer quickly and trustworthily, and is willing to come back
  • Inputs: top-1 CTR, refinement rate (reformulating means the first attempt failed), back-button rate, no-click satisfaction
  • Guardrails: p95 latency, ad load, low-quality/spam share, zero-result rate
  • Long-run anchor: D30 return rate and sampled satisfaction surveys

📐 第一性原理与数理推导机理

Search 的特殊性在于“成功”常常表现为没有点击——答案直接在结果页被满足。因此纯 CTR 类指标会系统性低估好的改动。这就是为什么 Google 大量使用“无点击满足(no-click satisfaction)”与 side-by-side 人工评估,而不是单一 CTR。

⚖️ 业务权衡与取舍 (Trade-offs & Calibration)

真实决策中还要区分 query 类型:导航型(navigational)、信息型(informational)、交易型(transactional)的成功定义完全不同。导航型看“是否第一个就点对”,信息型看“是否不再重搜”,交易型看“是否完成转化”。不分层会把三类混在一起,导致任何改动都“没有显著效果”。

⚠️ 常见高频面试陷阱与避坑指南

  • 只报 CTR 和 DAU——这两个指标对大多数 Search 改动都不敏感
  • 忽略 query 分层,导致效应被稀释

🔍 大厂面试官连环追问 (Follow-ups)

  • 如果无点击满足率上升但 D30 回访下降,你怎么解释?
  • 如何用数据区分“用户满意地离开”和“用户失望地放弃”?

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔