怎么评估一个 AI Agent 好不好用:一套可落地的评测框架


「这个 Agent 挺好用的。」

这句话在选型会上出现的频率极高,信息量却接近于零。追问下去,通常得到三种回答:演示时它把那个任务做成了;我用了两周没出大问题;同事说比之前那个强。

这三种回答对应三种完全不同的证据强度,但它们在会上是等价的——都只是印象。而 Agent 和传统软件最大的差别在于:传统软件的行为是确定的,你可以靠读代码判断它行不行;Agent 的行为是概率性的,同一句指令今天成功明天翻车,你只能靠采样来估计它的真实水平。既然是采样,就必须回答三个问题:采了多少次、采的是哪些样本、采完之后怎么判。

这篇文章给一套可以直接搬进项目的评测框架。它不追求学术完备,目标很具体:让你在下一次「要不要上这个 Agent」的会上,拿出的不是一个感觉,而是一张能被质疑、能被复现的表。

Agent 评测:三层样本 × 三个评估面

一、先承认一件事:Agent 的「好」是多目标问题

传统软件评测可以归结为一个词:正确性。输入对,输出就必须对,不对就是 bug。

Agent 不行。同一个任务,它可能做对了但绕了 12 步、调了 3 次失败的工具、顺便把一张不该删的表删了。你也可能遇到另一种情况:结果勉强能用,但每次都要人重新解释一遍背景,实际节省的时间还不如自己干。

所以「好不好用」至少要拆成五个互相拉扯的维度。这五个维度经常是冲突的,这才是评测真正的难点:

维度 回答的问题 高了会牺牲什么
能力 它能不能完成任务 通常靠更大的模型、更多的工具、更长的思考,成本上升
可靠性 同样的输入,它稳不稳 提高确定性往往要收紧自由度,复杂任务的成功率反而下降
可控性 出错时你能不能拦住、能不能纠正 审批环节越多越安全,但自动化收益被吃掉
经济性 单任务成本与总拥有成本 便宜模型 + 多次重试,可能比贵模型一次成功更贵
可维护性 换模型、加工具、改流程时会不会崩 为稳定而堆的补丁会让系统越来越难改

一个只报「成功率 85%」的评测,等于把五维压成一维。它在会上很好看,在落地时会咬人——因为那 15% 的失败里,可能有 3% 是有副作用的失败,而这种失败一次就够上事故复盘了。

结论:评测的第一件事不是设计指标,而是先列出这个场景绝对不能发生什么。 把「不可接受」写成硬约束,剩下的才是可以权衡的分数。

二、评测集:三层样本,缺一层就会自欺

绝大多数「感觉还行」的评测,问题都出在样本上:他们只测了自己想得起来的任务。而人想得起来的任务,几乎必然是顺利路径。

我建议任何 Agent 评测集都按三层来建,比例大致 6:3:1:

第一层:黄金集(Golden Set)

20–50 条任务,覆盖这个 Agent 的核心使用场景,每条都有人工确认过的参考答案或验收标准。它的作用不是测极限,而是建立基线——任何模型切换、提示词改动、工具升级,都要在这层上不退化。

黄金集的挑选原则是「典型但完整」:不要挑最简单的(测不出差异),也不要挑最难的(噪声太大)。挑那种「一个熟练的人 5 分钟能做完、但需要两三步判断」的任务。

第二层:回归集(Regression Set)

这一层是从线上失败里长出来的。每修一个 bug、每发现一个翻车案例,就把当时的输入原样存进来,标注期望行为。它是整个评测体系里价值最高的部分,因为它是真实分布的尾部。

回归集的关键纪律:只增不删。哪怕某个案例后来因为产品定位变化不再重要,也保留并标记为「已废弃」,而不是删掉。删掉等于把踩过的坑填平了再假装没踩过。

第三层:对抗集(Adversarial Set)

专门用来打脸的一组。包括:

  • 信息不全的任务(材料里根本没有答案,看它会不会编)
  • 指令冲突的任务(两个约束互相矛盾,看它会不会自己选一个假装没事)
  • 边界输入(超长、空值、格式错乱、多语言混杂)
  • 诱导越界的任务(要求它做超出授权范围的操作)
  • 长得像但实质不同的任务(测它是不是在靠关键词匹配)

对抗集不需要多,10–20 条足够,但必须每次都跑。它是唯一能在上线前拦住「自信地胡说」的东西。

三、别用单次成功率骗自己:pass@k 与 pass^k

这是最容易出错、也最容易被汇报包装的一个点。

假设你跑了 20 条任务,每条只跑一次,成功 17 条。你得到「85% 成功率」。这个数字的问题在于:它把「稳定成功」和「偶尔成功」混为一谈了。

Agent 任务的分布通常是双峰的:有些任务它基本必成,有些任务它成功率只有三成但会「碰巧」成功。只跑一次,后者会被记成 1 分,和前者没有区别。

正确的做法是区分两个指标:

指标 含义 适用判断
pass@k k 次里至少成功 1 次的比例 适合「人会在旁边看着、失败可以重试」的场景
pass^k k 次里全部成功的比例 适合「无人值守、失败有代价」的场景

举个具体例子。某类任务单次成功率 70%,跑 3 次:

  • pass@3 大约是 97%(几乎总能撞对一次)
  • pass^3 大约是 34%(三次全对的概率)

两个数字都真实,但指向完全相反的结论。如果你的场景是「批量处理 500 条数据、跑完人再抽查」,那 34% 意味着三分之二的任务需要返工,pass@3 的 97% 就是个漂亮的谎言。

实操建议:对每个场景,先问一句「失败一次的代价是什么」。代价可忽略 → 看 pass@k,k 取你能接受的自动重试次数;代价不可忽略 → 只看 pass^k,k 取 2 或 3。

还有一个更隐蔽的坑:温度参数不固定。如果你在评测时把 temperature 调成 0,线上却用默认值,那你测的根本不是同一个系统。评测环境和生产环境的模型版本、温度、工具权限、系统提示词,四项必须对齐,否则结论不可迁移。

四、只看结果是不够的:轨迹评估怎么做

Agent 和普通 LLM 调用的本质区别是它有过程。过程里藏着结果看不到的东西。

我见过一个典型案例:一个「自动整理会议纪要」的 Agent,结果质量评分很高,但轨迹显示它平均要读 40 个文件才能找到相关的 3 个,而且每次都会把整个目录列表塞进上下文。单次成本是预期的六倍,只是没人去看。

轨迹评估建议盯这几个量,都很容易从日志里算出来:

轨迹指标 怎么算 说明什么
步数 完成任务消耗的轮次 明显高于人工基线,说明规划能力差或在原地打转
工具错误率 工具调用失败次数 / 总调用次数 参数构造能力,或工具描述写得不够清楚
重复调用率 相同参数的重复调用占比 典型症状:模型没读懂上一次的返回
无效步占比 对最终结果没有贡献的步骤 直接对应成本浪费
人工干预次数 需要人补充信息/纠偏的次数 最贴近「好不好用」的体感指标
副作用事件 非预期的写操作、删除、外发 硬指标,出现即视为失败

其中「人工干预次数」值得单独说。它是所有指标里和用户体感相关性最高的一个,也是最容易被忽略的一个——因为它不在系统日志里,在人的记忆里。要测它,只能靠结构化记录:每次人忍不住插手时,点一下「我接管了」,记下原因分类(信息缺失 / 理解错误 / 权限不足 / 输出不可用)。

坚持记两周,你会得到一张非常有说服力的图:哪类任务最常需要人接手,接手的原因集中在哪。这张图比任何满意度问卷都准。

五、人工评分:把玄学变成可校准的尺子

只要涉及「质量」而非「正确」,就绕不开人工评分。人工评分最大的问题是噪声:同一个人上午和下午打分能差一档,两个人对「合格」的定义能差两档。

三个办法可以显著压低噪声:

1. 锚点样例(Anchor Examples)

不要给评分标准写形容词,给具体的样例。1 分长什么样、3 分长什么样、5 分长什么样,各贴一个真实输出。评分时先看锚点再打分。这一步能把评分者之间的分歧压缩一大截。

2. 盲评与随机顺序

把 A/B 两个版本的输出打乱顺序、隐去来源再评。听起来是小事,但「我知道这是新版本」这个念头会系统性地把分数往上抬。凡是汇报里出现「新版明显更好」但没做盲评的,都要打个问号。

3. 双人复核 + 分歧分析

不需要每条都双人,抽 20% 做交叉评分就够了。重点不是算一致性系数,而是看分歧的条目——分歧最大的那几条,往往正好是评分标准没写清楚的地方,改标准比改模型收益更高。

还有一个反直觉的建议:让人评「能不能直接用」,而不是评「写得好不好」。 前者是可判定的(能 / 改一点能用 / 得重写),后者会滑向审美争论。Agent 的价值在于省时间,不在于文采。

六、一个能跑起来的最小评测流水线

框架讲完了,落地需要一个不吓人的最小版本。下面这套东西一个人两天能搭完,之后每周自动跑。

第一步:固定输入

把评测集写成 JSONL,一行一条:任务描述、可用工具、期望结果(或验收脚本)、所属层级(golden/regression/adversarial)。评测集必须进版本库,和代码一起 review。

第二步:固定执行环境

同一个模型版本、同一套工具权限、同一个温度、同一份系统提示词。每次跑之前打印一份「环境指纹」到日志里。这一步是让历史数据可比的前提,省了它,后面的趋势图全是噪声。

第三步:自动判定优先,人工判定兜底

能用脚本判的绝不用人判。判定方式按优先级:

  1. 精确匹配 / 结构校验(JSON 字段是否齐全、数值是否在区间)
  2. 规则断言(必须包含某关键词、不得包含某个危险操作)
  3. 模型判分(用另一个模型按评分表打分,且要求给出理由)
  4. 人工评分(只留给前三种都判不了的主观质量)

模型判分有个已知偏差:它偏好更长的回答、更”礼貌”的语气。所以用它做 A/B 对比时,务必交换顺序各判一次,取一致的结果;不一致的样本转人工。

第四步:产出三张表

不要产出「总分 82 分」这种数字。产出三张表:

  • 分场景成功率表:每个场景单独一行,附 pass^k
  • 成本表:单任务平均 token、平均工具调用次数、平均耗时
  • 失败归因表:失败按原因分类计数(理解错 / 工具错 / 信息不足 / 越界 / 超时)

第三张表是最有用的。它直接告诉你下一步该改提示词、改工具描述、还是改产品流程。

第五步:设门禁,不设总分

上线决策不要看加权总分。加权意味着「A 场景差一点可以用 B 场景的优秀补上」,但真实业务里场景之间不互补——支付流程 99 分、退款流程 40 分,这个 Agent 就是不能用。

正确做法是分场景设门槛:

场景类型 门槛建议 理由
只读、可重试 pass@3 ≥ 90%,副作用事件 = 0 失败成本低,允许重试
有写操作、可撤销 pass^2 ≥ 85%,越界事件 = 0 需要一定稳定性
有写操作、不可撤销 pass^3 ≥ 95%,且必须有人工确认 一次错误就够上事故
对外发送(邮件/消息) 100% 人工过目 无法撤回

门槛数字可以按自己的风险偏好调,但结构不能变:先按风险分级,再定指标,最后才是数字。

七、五个最常见的评测误判

误判一:拿 Demo 当评测

Demo 是设计过的。它证明的是「存在一条成功路径」,不是「大多数时候能成功」。Demo 唯一的价值是让你相信这件事可能做成,仅此而已。

误判二:只测新版本,不测旧版本

没有对照组的评测不是评测。每次改动都要把当前线上版本一起跑一遍,否则你无法区分「新版本变好了」和「这批样本本来就简单」。

误判三:样本量太小还看百分比

10 条样本里成功 8 条,报「80%」是没有意义的——换一批样本可能就是 60%。样本少于 30 条时,直接报「20 条里成了 17 条」,不要换算成百分比,那会给人虚假的精度感。

误判四:用平均分掩盖长尾

平均分最擅长隐藏灾难。一个 Agent 平均分 4.2,但 5% 的输出是彻底错误的——这 5% 才是决定它能不能上线的部分。永远同时看平均值和最差分位。

误判五:评测完就封存

评测集是会过期的。业务变了、用户用法变了、模型升级了,三个月前的黄金集可能已经不代表真实分布。建议每季度做一次「样本体检」:看线上日志里有没有出现评测集完全没覆盖的任务类型。

八、把评测接进日常:回归门禁

一次性的评测报告,价值在决策那一刻达到峰值,然后迅速衰减。真正让质量持续提升的,是把评测变成流程的一部分。

最小可行的做法:

  1. 评测集进仓库,改评测集要走 PR
  2. 每次改提示词/换模型/加工具,CI 自动跑一遍回归集
  3. 回归集上任何一条从「通过」变成「失败」,构建失败,必须解释
  4. 线上每发现一个新失败案例,48 小时内补进回归集
  5. 每周出一份趋势报告:成功率、成本、干预率三条曲线

第 3 条是关键。它把「感觉没变差」变成了「有证据没变差」。而且它有个额外好处:当你不得不为某次退化写解释时,往往会发现提示词里某个自以为聪明的补丁其实在帮倒忙。

九、一页纸清单

给要动手的人,直接抄:

建集阶段

  • 列出本场景「绝对不能发生」的事件,写成硬约束
  • 黄金集 20–50 条,覆盖核心场景,有验收标准
  • 回归集从线上失败里长出来,只增不删
  • 对抗集 10–20 条,含信息不全 / 指令冲突 / 诱导越界
  • 评测集进版本库,改动走 review

执行阶段

  • 固定模型版本、温度、工具权限、系统提示词
  • 记录环境指纹
  • 每条样本至少跑 2–3 次,区分 pass@k 与 pass^k
  • 同时跑当前线上版本作为对照组

判定阶段

  • 优先脚本判定,其次规则断言,再次模型判分,最后人工
  • 模型判分做顺序交换,不一致转人工
  • 人工评分用锚点样例 + 盲评 + 20% 交叉复核
  • 人工评分问「能不能直接用」,不问「写得好不好」

决策阶段

  • 分场景设门槛,不用加权总分
  • 硬约束(越界、不可逆副作用)零容忍
  • 同时看平均值与最差分位
  • 样本少于 30 条不报百分比

运营阶段

  • 回归集接入 CI,退化即失败
  • 新失败案例 48 小时内入库
  • 每季度做一次样本体检

结语

评估 Agent 最难的地方,不是缺工具,而是缺诚实。Demo 会骗你,平均分会骗你,自己的两周使用体验也会骗你——因为人天然记住成功的那几次,忘掉重试的那几次。

一套好的评测框架,本质上是在系统性地对抗这种自欺:用分层样本对抗「只测顺路」,用 pass^k 对抗「偶尔成功」,用轨迹指标对抗「结果对了过程很脏」,用分场景门禁对抗「总分好看」。

它不会让你的 Agent 变得更好,但它会让你知道它现在到底在哪。而在一个所有人都在演示、很少有人测量的领域里,知道自己在哪,本身就是优势。

如果你正在为一个内部 Agent 做上线决策,却说不清「它到底稳不稳」,欢迎 联系我们 聊聊具体场景,我们可以一起把那套评测集搭出来。


  目录