arXiv cs.CL· Shuyang Zhang·· 10 小时前AI 评分41
LLM 智能体多工具请求中检索结构的完整性与成本对比
Completeness and Cost of Retrieval Structures for Multi-Tool Requests in LLM Agents
AI 导读
研究对比六类工具检索结构在 AppWorld 345 条查询和 MCP-Bench 103 个任务（257 个 MCP 工具）上的表现，发现未在测试集训练且每查询最多一次 LLM 调用的结构在 k=16 时完成率均不足 10%。
正文 · AI 翻译
摘要：一个必须调用多个工具才能完成请求的智能体，在工具检索器遗漏其中任何一个工具时就会失败，然而工具检索器大多是在只需单个工具的查询上构建和评估的。我们在两个多工具测试平台上比较了六种检索结构的代表方案（扁平词法与稠密检索、LLM 查询分解、LLM 导航层级、先服务器后工具匹配、依赖图，以及训练得到的集合级检索器）：345 条带专家依赖标签的 AppWorld 查询，以及覆盖 257 个 MCP 工具的 103 个 MCP-Bench 任务。我们测量 completeness@k，即完整所需工具集出现在前 k 个结果中的查询占比，同时测量每种结构在检索时产生的 LLM 调用次数、token 数和延迟。对全部 7,961 条 ToolRet 查询的动机分析表明，聚合 completeness 混合了两种情形：在单目标查询上 completeness@10 为 .58 至 .67，在具有四个或更多目标的查询上为 .08 至 .17，并且检索器在单目标查询上的排序在多目标查询上发生反转。在两个测试平台上，所有未在测试平台上训练且每次查询至多进行一次 LLM 调用的对比结构中，没有一个能在 k = 16 时完成超过 10% 的 AppWorld 查询。表现更好的两种结构产生不同的成本：一个在 75 至 90 条域内查询上训练的集合级检索器在 AppWorld 上达到 .33、在 MCP-Bench 上达到 .58，且不进行 LLM 调用；而一个 LLM 导航层级在 AppWorld 上达到 .30、在 MCP-Bench 上达到 .40，每次查询的 LLM 调用中位数为 31 至 38 次，耗时约五分钟。它们的失败模式也不同：训练得到的检索器大多将缺失工具排在前 k 截断线之下，而层级结构会找到目标 API 并在收集其前置条件之前停止。在使用官方 AppWorld 智能体的下游检查中，检索集完整的任务成功 21 次（共 21 次），而检索集不完整的任务成功 2 次（共 39 次）。
| 评论： | 17 页，3 幅图，9 张表 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41905 [cs.IR] |
| （或本版本的 arXiv:2610.41905v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2610.41905 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuyang Zhang [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 15:40:02 UTC（58 KB）
来源：arXiv cs.CL · arxiv.org