M1-003Hard指标树实例 · Metric trees
如何衡量 AI Overviews(搜索页 AI 摘要)的质量?
How would you measure the quality of AI Overviews on the search page?
💡 考场高分一句话答案:
分三层:答案正确性(groundedness)、对搜索任务的影响(是否减少重搜)、以及风险(幻觉与过度自信),并用人工评估作锚。
Three layers: answer correctness (groundedness), effect on the search task (fewer re-queries), and risk (hallucination and overconfidence), anchored by human evaluation.
📌 核心考察要点 (Key Points)
- 正确性:groundedness(每个论断可追溯到引用来源)、事实错误率、引用覆盖率
- 有用性:helpfulness 评分、用户是否继续点击来源、是否追问、copy 行为
- 任务影响:refinement rate 变化、无点击满足率、session 结束后的回访
- 风险护栏:幻觉率(按危害分级)、过度拒答率、有害内容率、来源权威性分布
- Correctness: groundedness (every claim traceable to a cited source), factual error rate, citation coverage
- Usefulness: helpfulness rating, whether users still click sources, follow-up behaviour, copy actions
- Task impact: change in refinement rate, no-click satisfaction, post-session return
- Risk guardrails: harm-weighted hallucination rate, over-refusal rate, harmful content share, source authority distribution
📐 第一性原理与数理推导机理
AI Overview 的核心风险是错误被规模化:一个错误答案会同时影响数百万次查询,而传统搜索的错误是分散的(用户会点不同结果自我纠正)。因此质量评估必须用“危害加权错误率”而不是平均准确率:$$\text{Harm-weighted error}=\frac{\sum_i w_i \cdot \mathbb{1}[\text{error}_i]}{\sum_i w_i}$$其中 $w_i$ 按查询的 YMYL 程度(医疗、金融、安全)加权。
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
上线决策上,Google 这类功能通常采用“分层放量 + 查询类型白名单”:先在低风险查询(事实型、非 YMYL)放量,YMYL 查询保持保守。评估时要按查询类型分层报告,而不是给一个全局数字——全局数字会掩盖 YMYL 上的灾难性表现。
⚠️ 常见高频面试陷阱与避坑指南
- 用“用户点击了来源”当作正确性的证据——用户点击可能正是因为不确定
- 只报告平均准确率,不按危害加权
🔍 大厂面试官连环追问 (Follow-ups)
- 如何在没有 ground truth 的情况下大规模评估 groundedness?
- 如果 AI Overview 让 Search 的 CTR 下降但用户满意度上升,你怎么决策?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.