Agents & Tool Use: 解释 Agent 的评估方法。

Core Concept: 任务成功率（端到端）+ 过程指标（步骤正确率/工具选择）+ 成本效率；需真实环境与可复现的测试集。

数学机理：<strong>Agent 评估的三个层次</strong>。<strong>(1) 端到端指标（最关键）</strong>——<strong>任务成功率</strong>（Task Success Rate）：在给定任务集上，Agent 完成任务的百分比。这是<strong>唯一能反映真实能力</strong>的指标；但需要 (a) <strong>明确定义的'完成'标准</strong>（可用程序验证的任务最容易：如'代码通过测试'、'数据被正确修改'）、(b) <strong>真实或高保真的环境</strong>（工具真的能调用、状态真的会改变）。<strong>(2) 过程指标</strong>——(a) <strong>步骤正确率</strong>（每步是否正确）；(b) <strong>工具选择准确率</strong>（是否选对工具）；(c) <strong>参数正确率</strong>；(d) <strong>轮数</strong>（效率：完成任务用了多少步）；(e) <strong>错误率与恢复率</strong>（出错后能否恢复）；(f) <strong>终止率</strong>（能否正确输出最终答案）。过程指标用于<strong>定位问题</strong>（哪一步失败）与<strong>比较效率</strong>。<strong>(3) 成本与效率</strong>——(a) <strong>token 消耗</strong>（直接成本）；(b) <strong>工具调用次数</strong>（外部 API 成本）；(c) <strong>延迟</strong>（用户体验）。<strong>为什么 Agent 评估比 LLM 评估难</strong>——(a) <strong>环境依赖</strong>——Agent 需真实工具与环境（难以复现）；(b) <strong>多步性与随机性</strong>——同一任务的路径可能不同（难以比较）；(c) <strong>长尾失败</strong>——一个错误步骤可能导致整体失败（成功率对单步错误敏感）；(d) <strong>成本高</strong>——每次评估需完整运行（多次 LLM 调用 + 工具调用）；(e) <strong>难以自动化判定</strong>——'任务是否完成'常需人工或程序判定。<strong>基准与环境</strong>——(a) <strong>WebArena / Mind2Web</strong>（网页操作）；(b) <strong>SWE-bench</strong>（代码修复：用真实 GitHub issue + 测试判定）；(c) <strong>GAIA</strong>（通用助手任务）；(d) <strong>τ-bench</strong>（工具调用 + 用户模拟）；(e) <strong>OSWorld</strong>（操作系统操作）。<strong>构造测试集的原则</strong>——(a) <strong>可程序验证</strong>（如代码通过测试）优先；(b) <strong>真实环境</strong>（用沙箱复现）；(c) <strong>覆盖难度与类型</strong>；(d) <strong>固定初始状态</strong>（可复现）；(e) <strong>多次运行取平均</strong>（因随机性）。<strong>评估的实践</strong>——(a) 建立<strong>回归测试集</strong>（每次改动都跑）；(b) 用<strong>成本-成功率</strong>的联合指标（高成功率但 10 倍成本可能不划算）；(c) <strong>人工抽检</strong>（程序判定之外）。

深度剖析与工程权衡：① <strong>'可程序验证的任务'是评估的黄金标准</strong>——如代码（跑测试）、数据操作（检查结果）、数学（对答案）；这类任务的'完成'可自动判定，故能大规模评估（SWE-bench 即此）。对'开放任务'（写作、规划）则需人工或 LLM-judge（可靠性下降）。② <strong>'成功率对单步错误敏感'</strong>——若每步成功率 95%，10 步任务的整体成功率约 60%（0.95^10）；故 Agent 的'长任务成功率'远低于单步能力。这解释了为什么 Agent 需要<strong>错误恢复</strong>能力。③ <strong>'成本-成功率联合评估'</strong>——只看成功率会忽略成本（Agent 可能用 10 倍 token 达到略高的成功率）；故应报告'成本-成功率曲线'（类似推理模型的准确率-token 权衡）。④ <strong>'环境保真度'的重要性</strong>——若测试环境与真实环境差异大（如模拟的 API 与真实 API 行为不同），评估结果会失真；故应尽量用<strong>真实环境的沙箱</strong>。⑤ <strong>'多次运行'的必要性</strong>——Agent 的输出有随机性（采样、工具返回）；故需多次运行取统计（成功率 ± 标准差）。⑥ <strong>面试要点</strong>——被问'Agent 怎么评估'，应给出'<strong>端到端成功率（最关键）+ 过程指标（定位问题）+ 成本效率 + 真实可复现环境</strong>'三层框架，并说明'<strong>可程序验证的任务优先</strong>'与'<strong>成功率对单步错误敏感（需错误恢复）</strong>'；能提到 SWE-bench/WebArena 等基准是深度理解的标志。