M7-PB04PlaybookLLM 评估 · LLM evaluation

RAG 与 Agent 评估:分环节定位问题

Evaluating RAG and agents: localise the failure
🧭 Playbook 核心提示 / Actionable Calibration:

定位方法:如果端到端差,先看检索 recall——若 recall 低,问题在索引/召回;若 recall 高但 faithfulness 低,问题在生成(模型忽略了上下文);若两者都高但用户不满意,问题在问题理解(query 改写错了)。这个三分法能让你在 30 秒内定位 RAG 问题。

📌 核心考察要点 (Key Points)

  • 任务完成率:多步任务是否达成目标(不是“每步都对”)。
  • 步数效率:平均步数、冗余工具调用率。
  • 工具调用正确率:参数是否正确、是否该调用却没用。
  • 失败恢复:工具报错后是否能重试或改路径。
  • 成本与延迟:每任务 token 成本、端到端时延。

嫌字多看太累?进入苏格拉底式对话推演实验室

零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。

💬 开启对话式破冰 ➔
⚡
Test muscle memory on this topic via 3-Layer Flashcards
Active Recall: Mentally formulate Prompt ➔ Math Derivation ➔ Benchmark Implementation in 3 minutes.
🎯 Drill This Card Now➔