M7-PB04PlaybookLLM 评估 · LLM evaluation
RAG 与 Agent 评估:分环节定位问题
Evaluating RAG and agents: localise the failure
🧭 Playbook 核心提示 / Actionable Calibration:
定位方法:如果端到端差,先看检索 recall——若 recall 低,问题在索引/召回;若 recall 高但 faithfulness 低,问题在生成(模型忽略了上下文);若两者都高但用户不满意,问题在问题理解(query 改写错了)。这个三分法能让你在 30 秒内定位 RAG 问题。
📌 核心考察要点 (Key Points)
- 任务完成率:多步任务是否达成目标(不是“每步都对”)。
- 步数效率:平均步数、冗余工具调用率。
- 工具调用正确率:参数是否正确、是否该调用却没用。
- 失败恢复:工具报错后是否能重试或改路径。
- 成本与延迟:每任务 token 成本、端到端时延。
嫌字多看太累?进入苏格拉底式对话推演实验室
零打字负担,以大厂考官真实困境切入,通过点选直觉选项暴露思维盲区,手把手推导 Why。
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!