M7-006HardLLM 评估 · LLM evaluation
如何评估一个 RAG 问答系统?请给出分层指标。
How would you evaluate a RAG question-answering system? Give layered metrics.
💡 考场高分一句话答案:
三层:检索(Recall@k / MRR)、生成(faithfulness / 答案相关性)、端到端(任务成功率 / 人工 helpfulness)。
Three layers: retrieval (Recall@k, MRR), generation (faithfulness, answer relevance) and end to end (task success, human helpfulness).
📌 核心考察要点 (Key Points)
- 检索:Recall@k 最重要(召回不到就一定答不对);MRR 看首个相关文档位置
- 生成:faithfulness(每个论断可追溯到上下文)、answer relevance、完整性
- 端到端:任务成功率、用户追问率、人工评分、拒答率(该答却拒答)
- 定位:recall 低 → 索引/召回问题;recall 高但 faithfulness 低 → 生成忽略上下文
- Retrieval: Recall@k matters most, because anything not retrieved cannot be answered
- Generation: faithfulness (every claim supported by context), answer relevance, completeness
- End to end: task success, follow-up rate, human rating, and the refusal rate when an answer exists
- Diagnosis: low recall points at indexing; high recall with low faithfulness points at generation
⚖️ 业务权衡与取舍 (Trade-offs & Calibration)
RAG 评估最容易犯的错误是只看端到端:端到端差时无法定位是检索还是生成。分层评估的价值在于把“一个坏结果”变成“一个可修的环节”。另一个关键点是构造分层测试集:单跳事实题、多跳推理题、时效性题、无答案题(应拒答),分别评估。
⚠️ 常见高频面试陷阱与避坑指南
- 只用 LLM-judge 打一个总分,不做分层
- 测试集全是简单单跳问题,掩盖多跳失败
🔍 大厂面试官连环追问 (Follow-ups)
- 如何自动评估 faithfulness?
- 无答案题的表现怎么度量?
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!