arXiv cs.CL· Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao·· 2 天前AI 评分31
ToolBottleneckBench：在受控压力与固定 harness 预算下测量工具智能体表现
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
AI 导读
研究者发布 ToolBottleneckBench，在固定 harness 预算下测量工具智能体在受控压力下的表现，任务保持不变、每次只改变一种压力：注册工具目录、可见工具菜单、认证工作流或返回记录编码。
正文 · AI 翻译
摘要：工具智能体的成功分数既反映其模型，也反映运行它的框架的预算。我们提出 ToolBottleneckBench，一个在受控压力和固定框架预算下衡量工具智能体性能的基准。合成企业任务保持固定，同时改变一种压力：已注册的工具目录、可见的工具菜单、认证的工作流，或返回记录的编码方式。一个精确评分器记录每个失败回合中第一个未满足的义务，以及结束该回合的框架限制（如有）。在 21 种模型与框架配置中，可见菜单是作用于模型的三种压力中唯一带来大幅惩罚的压力，且这种惩罚与完成上限处的截断相关。将上限提高十六倍可消除截断严重配置中的大部分惩罚。大多数失败都终止于某个框架限制，而失败记录对所指派压力的识别并不比工具调用计数更可靠。有效的修复措施改变了哪些工具能到达模型或由谁发起调用，且只有两项修复措施——均未改善模型行为——胜过所有配置切换。我们建议在报告压力效应时同时报告测量时所处的框架预算。我们在 此 https URL 发布该基准。
| Comments: | 26 页，12 幅图，15 张表 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；软件工程（cs.SE） |
| Cite as: | arXiv:2610.21098 [cs.CL] |
| （或 arXiv:2610.21098v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21098 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Zichuan Xu [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 01:59:58 UTC（268 KB）
来源：arXiv cs.CL · arxiv.org