arXiv cs.AI· Abhijit Chakraborty·· 14 小时前AI 评分31
将共享使用示例折叠进工具索引会降低未使用工具的检索率
Folding Pooled Usage Examples into the Tool Index Lowers Retrieval of Unused Tools
AI 导读
研究发现，把多个智能体共享的使用示例作为额外条目折叠进工具搜索索引后，有示例的工具检索变好，但在三个工具目录中的两个上，未被使用过的必需工具进入前五结果的比例明显下降——在 StableToolBench 上用主嵌入模型时从 73% 降至 40%。
正文 · AI 翻译
摘要：AI 智能体常常通过搜索工具文档来寻找工具。共享工具目录的智能体还可以汇集使用示例：过去的请求，每个请求都标记了处理它的工具。我们研究汇集这些示例会对尚无任何智能体使用过的工具产生什么影响。将每个使用示例作为其对应工具的额外条目加入搜索索引（折叠）对已有示例的工具有所帮助，但在三个目录中的两个上，它大幅降低了所需的未使用工具进入前五名结果的频率；在 StableToolBench 上，使用我们的主要嵌入模型时，该比例从 73% 的查询降至 40%。当额外条目存放的是其他工具的文档而非请求时，损失要小得多，不过内容或写作风格的差异也可能解释这一点。我们提出 ZoE（Z-scores over Evidence），一种分别对工具的文档和使用情况进行评分的评分规则，这样没有使用记录的工具可以保留其文档得分。在全部三个目录以及我们测试的两种嵌入模型上，ZoE 比一种为使用匹配保留结果槽位的路由器更频繁地检索到未使用工具。使用我们的主要嵌入模型时，该路由器在两个目录上检索到更多其他工具，而在事后比较中，一种更简单的规则——为有使用记录的工具的得分加上一个常数——在未使用工具上与 ZoE 未显示出可检测的差异。在一个目录上对五个模拟智能体而言，折叠降低了每个智能体对未使用工具的检索；使用 ZoE 未检测到平均下降，尽管一些智能体仍有损失。对汇集智能体经验的评估应单独报告没有任何智能体使用过的工具，而不是将其混入平均值。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30867 [cs.SE] |
| （或 arXiv:2610.30867v2 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30867 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Abhijit Chakraborty [查看电子邮件]
[v1]
2026年10月22日星期四 07:45:24 UTC（110 KB）
[v2]
2026年10月25日星期日 04:34:55 UTC（172 KB）
来源：arXiv cs.AI · arxiv.org