Hacker News· khalidkhair·· 7 天前AI 评分41
智能体基准测试真的测了它们声称测的东西吗？
Do Agent Benchmarks Do What They Say?
AI 导读
一项审计发现，四个基准测试中 34 个会改变状态的工具里有 7 个存在缺陷，另有一项评测器属性问题，且缺陷在每次重跑时都会影响分数。检查器在注入缺陷时 25 次标记无误报，33 个漏检中有 29 个是条款覆盖了缺陷但探针未能触发。最明显的案例是一个临床基准：其工具在接口未披露的“无写入”设计下仍告知智能体写入已执行，评测器据此判定成功，实际记录的是请求是否携带预期载荷，而非记录是否真的改变。
正文 · AI 翻译
摘要：使用工具的智能体正进入错误操作会带来真实代价的场景，而认证它们的基准测试所评分的，是每次模拟工具调用报告自己做了什么，并假定工具执行了其接口所宣称的行为。我们调查的审计分类法没有为这一假定发布任何类别，而分数之下的缺陷在每次重跑时都存在。我们将工具的对外宣称接口视为一份可执行契约，对照它检查实现，并通过任务文件和评估器代码追溯每个分数的来源，直至那些源自一个缺陷工具本应写入的状态的判定。在四个基准测试中审计的 34 个可变工具里，我们在固定提交上确认了七个工具缺陷和一项评估器属性。对于注入的缺陷，检查器在 25 次标记中未产生误报，在 5 个阴性对照中标记了 2 个，且漏掉了大多数：在 33 次计分漏报中有 29 次，某个子句覆盖了该缺陷，但没有探针揭示它。检查器自身的静态部分单独运行时，在 17 个已确认位置中标记了 14 个，因此就这些发现而言，动态部分起的是确认和追溯作用，而非发现作用。另有 12 个 AgentDojo 工具，连同 6 个留出工具和先前提到的 7 个已审计工具，构成了其 25 个可变工具的完整表面；按我们的契约解读，其中至少有 5 个工具与其宣称表面存在偏差，这是 AgentDojo 单独的比率。没有黄金轨迹能触及 tau2-bench 的两个缺陷；在 1,120 条为隔离电信缺陷而构建的路径上（该数字由构造固定），评估器奖励对一条已暂停线路的重新接通，却让修复后的工具失败。最清晰的案例是一个临床基准测试，其工具在一种有文档记载的“不写入”设计下告诉智能体每次写入都已执行，而该设计并未在其接口中披露；其评分器将该消息当作证据，因此其动作成功率记录的是请求是否携带了预期载荷，而非是否有任何记录发生改变。
| 评论： | 10 页。提交至 IEEE BigData 2026，智能数据挖掘专题。代码、契约和数据：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | D.2.5；I.2.6 |
| 引用为： | arXiv:2609.37315 [cs.SE] |
| （或 arXiv:2609.37315v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37315 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Rohith Reddy Bellibatlu [查看电子邮件]
[v1]
2026年9月29日星期二 11:50:55 UTC（34 KB）
来源：Hacker News · arxiv.org