M5-089M5: NLP 与大语言模型Agent 与工具调用Hard
⚡闪卡盲测➔掌握度:

解释 Agent 的评估方法。

🎯 深度面试自测闭环(先口述或草拟,再核对解析)
免登录记录进度:核心结论回忆 → 避坑清单自查 → 标记掌握或加入错题队列。
Step 1 · 尝试用 1–2 句话回答这道题的核心结论与适用边界
Step 2 · 勾选已覆盖的陷阱与追问思考
下一题: M5-090 →
📐 核心数学机理公式
eval: task success rate+process metrics+cost/latency;env: realistic, reproducible\text{eval}:\ \text{task success rate}+\text{process metrics}+\text{cost/latency};\qquad \text{env}:\ \text{realistic},\ \text{reproducible}
⚡ 一句话直击要害答案
任务成功率(端到端)+ 过程指标(步骤正确率/工具选择)+ 成本效率;需真实环境与可复现的测试集。

📌 核心要点提炼

  • •
    端到端:任务成功率(最关键)
  • •
    过程:步骤正确率、工具选择准确率、轮数、错误率
  • •
    成本:token 数、工具调用数、延迟;以及真实可复现的环境

📐 数学机理与严密推导

数学机理:Agent 评估的三个层次。(1) 端到端指标(最关键)——任务成功率(Task Success Rate):在给定任务集上,Agent 完成任务的百分比。这是唯一能反映真实能力的指标;但需要 (a) 明确定义的'完成'标准(可用程序验证的任务最容易:如'代码通过测试'、'数据被正确修改')、(b) 真实或高保真的环境(工具真的能调用、状态真的会改变)。(2) 过程指标——(a) 步骤正确率(每步是否正确);(b) 工具选择准确率(是否选对工具);(c) 参数正确率;(d) 轮数(效率:完成任务用了多少步);(e) 错误率与恢复率(出错后能否恢复);(f) 终止率(能否正确输出最终答案)。过程指标用于定位问题(哪一步失败)与比较效率。(3) 成本与效率——(a) token 消耗(直接成本);(b) 工具调用次数(外部 API 成本);(c) 延迟(用户体验)。为什么 Agent 评估比 LLM 评估难——(a) 环境依赖——Agent 需真实工具与环境(难以复现);(b) 多步性与随机性——同一任务的路径可能不同(难以比较);(c) 长尾失败——一个错误步骤可能导致整体失败(成功率对单步错误敏感);(d) 成本高——每次评估需完整运行(多次 LLM 调用 + 工具调用);(e) 难以自动化判定——'任务是否完成'常需人工或程序判定。基准与环境——(a) WebArena / Mind2Web(网页操作);(b) SWE-bench(代码修复:用真实 GitHub issue + 测试判定);(c) GAIA(通用助手任务);(d) τ-bench(工具调用 + 用户模拟);(e) OSWorld(操作系统操作)。构造测试集的原则——(a) 可程序验证(如代码通过测试)优先;(b) 真实环境(用沙箱复现);(c) 覆盖难度与类型;(d) 固定初始状态(可复现);(e) 多次运行取平均(因随机性)。评估的实践——(a) 建立回归测试集(每次改动都跑);(b) 用成本-成功率的联合指标(高成功率但 10 倍成本可能不划算);(c) 人工抽检(程序判定之外)。

🏭 深度剖析与工业落地权衡

深度剖析与工程权衡:① '可程序验证的任务'是评估的黄金标准——如代码(跑测试)、数据操作(检查结果)、数学(对答案);这类任务的'完成'可自动判定,故能大规模评估(SWE-bench 即此)。对'开放任务'(写作、规划)则需人工或 LLM-judge(可靠性下降)。② '成功率对单步错误敏感'——若每步成功率 95%,10 步任务的整体成功率约 60%(0.95^10);故 Agent 的'长任务成功率'远低于单步能力。这解释了为什么 Agent 需要错误恢复能力。③ '成本-成功率联合评估'——只看成功率会忽略成本(Agent 可能用 10 倍 token 达到略高的成功率);故应报告'成本-成功率曲线'(类似推理模型的准确率-token 权衡)。④ '环境保真度'的重要性——若测试环境与真实环境差异大(如模拟的 API 与真实 API 行为不同),评估结果会失真;故应尽量用真实环境的沙箱。⑤ '多次运行'的必要性——Agent 的输出有随机性(采样、工具返回);故需多次运行取统计(成功率 ± 标准差)。⑥ 面试要点——被问'Agent 怎么评估',应给出'端到端成功率(最关键)+ 过程指标(定位问题)+ 成本效率 + 真实可复现环境'三层框架,并说明'可程序验证的任务优先'与'成功率对单步错误敏感(需错误恢复)';能提到 SWE-bench/WebArena 等基准是深度理解的标志。
⚠️ 常见面试陷阱与高频失分点
  • ✕
    只看单次运行的结果(忽略随机性)
  • ✕
    只看成功率不看成本
🎯 面试官连环追问与延伸考察
  • ?
    为什么 Agent 评估比 LLM 评估难?
  • ?
    如何构造 Agent 的测试集?
⚡
想检验本题的肌肉记忆?进入 3 阶闪卡主动回忆盲测
隐藏答案遮罩,自测:审题锚点 ➔ 数理公式机理 ➔ 工业标杆代码与连环追问。3 分钟攻破认知盲区!
🎯 立即在闪卡中盲测此题➔
📚

关联知识库专题与交互式导图

← 上一题M5-088: 解释多智能体协作的设计与风险。📋 返回题库下一题 →M5-090: 解释 Agent 的成本与延迟控制。