arXiv cs.AI· Yunxiao Shi, Wujiang Xu, Tingwei Chen, Haoning Shang, Ling Yang, Yunfeng Wan, Zhuo Cao, Xing Zi, Dimitris N. Metaxas, Min Xu·· 11 小时前AI 评分31
AgentSelect：面向叙事查询到智能体推荐的基准
AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation
AI 导读
AgentSelect 基准将智能体选择重构为基于能力画像的叙事查询到智能体推荐，汇集 111,179 条查询、107,721 个可部署智能体和 251,103 条交互记录，来自 40+ 数据源。
正文 · AI 翻译
摘要：LLM 智能体正迅速成为任务自动化的实用接口，然而该生态系统缺乏一种有原则的方法，来在爆炸式增长的可部署配置空间中做出选择。现有的 LLM 排行榜和工具/智能体基准测试孤立地评估各个组件，并且在任务、指标和候选池方面仍然碎片化，留下了一个关键的研究空白：几乎没有以查询为条件的监督信号，用于学习推荐将骨干模型与工具包耦合的端到端智能体配置。我们通过 AgentSelect 来填补这一空白，这是一个基准，它将智能体选择重新定义为基于能力画像的叙事式查询到智能体推荐，并系统地将异构评估产物转换为统一的、仅含正样本的交互数据。AgentSelect 包含 111,179 条查询、107,721 个可部署智能体和 251,103 条交互记录，汇总自 40 多个来源，涵盖仅 LLM、仅工具包以及组合式智能体。我们的分析揭示了一种从密集头部复用到长尾、近乎一次性监督的范式转变，在这种转变下，基于流行度的 CF/GNN 方法变得脆弱，而内容感知的能力匹配则至关重要。我们进一步表明，Part~III 合成的组合式交互是可学习的，在受控反事实编辑下会诱导出能力敏感的行为，并提高了对现实组合的覆盖；在 AgentSelect 上训练的模型还能迁移到一个公共智能体市场（MuleRun），在未见过的目录上取得了一致的增益。总体而言，AgentSelect 提供了首个用于智能体推荐的统一数据和评估基础设施，为研究和加速新兴的智能体生态系统奠定了可复现的基础。
| 评论： | 被 ICML 2026 接收 |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2603.03761 [cs.AI] |
| （或 arXiv:2603.03761v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.03761 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yunxiao Shi [查看邮箱]
[v1]
2026 年 3 月 4 日星期三 06:17:51 UTC（2,528 KB）
[v2]
2026 年 11 月 5 日星期四 12:39:58 UTC（3,847 KB）
来源：arXiv cs.AI · arxiv.org