arXiv cs.MA· Ananto Nayan Bala, Faisal Muhammad Shah·· 11 小时前AI 评分31
语言模型智能体系统的集合值路由：WildChat 基准与成本感知评估
Set-Valued Routing for Language-Model Agent Systems: A WildChat Benchmark and Cost-Aware Evaluation
AI 导读
研究将固定目录路由形式化为集合值语言理解任务，构建了覆盖 12 个能力定义智能体的 3,000 条 WildChat 提示词基准。微调文本编码器取得 89.59 F1，高于线性 SVM 的 71.79 和 GPT-4o 的 41.51，在更难的语义分组划分下仍保持 88.02 F1。
正文 · AI 翻译
摘要：语言模型智能体系统必须在规划或工具执行之前，将自然语言请求映射到一个或多个专用智能体。这一决策通常被视为 top-1 选择，尽管组合式请求可能需要多种能力，而不必要的分派会增加成本。我们将固定目录路由形式化为集合值语言理解问题，并构建了一个基准，包含 3,000 条 WildChat 提示，覆盖 12 个按能力定义的智能体。可复现的、由模式引导的参考集按智能体频率和路由基数进行平衡。我们比较了画像检索、多标签分类器、微调文本编码器以及以目录为条件的零样本 GPT-4o。评估结合了集合质量、延迟、能力覆盖率和序数成本效用。编码器达到 89.59 F1，而线性 SVM 为 71.79，GPT-4o 为 41.51，并且在更难的语义分组划分下仍保持 88.02 F1。我们进一步引入加权智能体路由（WAR），这是一种确定性的后评分规则，无需重新训练即可改变质量-成本工作点；Encoder+WAR 获得了最佳约束效用。结果表明，目录特定监督和显式集合构建对于多智能体分派很重要，而成本感知决策层可以补充强大的语言编码器。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信息检索（cs.IR）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2606.28925 [cs.LG] |
| （或 arXiv:2606.28925v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.28925 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ananto Nayan Bala [查看电子邮件]
[v1]
2026年6月27日星期六 13:59:46 UTC（1,181 KB）
[v2]
2026年7月12日星期日 14:45:06 UTC（1,181 KB）
[v3]
2026年11月5日星期四 16:02:27 UTC（763 KB）
来源：arXiv cs.MA · arxiv.org