arXiv cs.CL· Zhenlong Dai, Xujie Song, Zitong Wang, Tong Niu, Jian liu, Weiqiang Wang, Xiu Tang, Sai Wu, Chang Yao, Jingyuan Chen·· 11 小时前AI 评分34
ToolSearcher：用强化学习优化大规模工具选择
ToolSearcher: Optimizing Tool Selection at Scale via Reinforcement Learning
AI 导读
针对 LLM 在真实工具库中难以在上下文限制下搜索、区分和组合工具的问题，研究者提出强化学习框架 ToolSearcher，通过类别约束的工具区分、事件级搜索建模和轨迹对齐的信用分配实现多轮搜索与细粒度优化。该工作被 NeurIPS 2026 接收，在大规模工具选择基准的迭代搜索与复杂工具组合场景中持续优于多个强基线。
正文 · AI 翻译
摘要：大型语言模型（LLM）在自然语言处理方面表现出色，但难以与外部环境交互。工具学习为将 LLM 扩展为可执行动作的智能体提供了一条有前景的途径，其中工具选择是成功使用工具的关键前提。现有工作通常假设工具集较小或预先定义，大规模工具选择尚未得到充分探索。现实世界的仓库包含大量且多样的工具，使得 LLM 在上下文长度约束下难以有效搜索、区分和组合工具。我们将大规模工具选择确定为智能体强化学习的一个新挑战，并指出现有的用于知识型问答的强化学习方法不足以在考虑兼容性的情况下选择工具。为应对这一挑战，我们提出了 ToolSearcher，一种新颖的强化学习框架，用于大规模工具选择中的有效多轮搜索和细粒度优化。具体而言，我们引入了类别约束的工具区分，以提高模型区分功能相似工具的能力；事件级搜索建模，以在多轮搜索过程中显式优化目标工具的发现；以及轨迹对齐的信用分配，为搜索-选择过程的不同阶段提供细粒度的奖励信号。在大规模工具选择基准上的大量实验表明，在涉及迭代搜索和复杂工具组合的挑战性设置中，ToolSearcher 始终优于一系列强基线。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.30906 [cs.CL] |
| （或 arXiv:2609.30906v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.30906 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhenlong Dai [查看邮箱]
[v1]
2026年9月25日星期五 07:13:21 UTC（236 KB）
[v2]
2026年11月5日星期四 05:49:28 UTC（242 KB）
来源：arXiv cs.CL · arxiv.org