arXiv cs.AI· Amin Rezaei, Pouya Parsa·· 11 小时前AI 评分35
COMPASS:基于能力导向模型画像的智能体路由,支持自适应搜索、选择与工具调用
COMPASS: Routing via Capability-Oriented Model Profiling with Adaptive Search, Selection, and Tool Use
AI 导读
COMPASS 是一种无需路由专项训练的智能体路由器,由 LLM 按路由配方调用工具收集性能与成本证据,并可选检查候选答案后再选模型。
正文 · AI 翻译
摘要:LLM 路由旨在以低成本选择能力强的模型,但专用路由器可能随着模型和任务的变化而需要更新。我们提出 COMPASS,一种智能体路由器,其中 LLM 遵循路由配方,通过工具收集性能和成本证据,并可选地在选择模型前检查候选答案。我们在 LLMRouterBench 和 DeepSWE 上的评估表明,与专用和经过训练的路由基线相比,智能体路由可以在无需路由专用训练的情况下提高准确率并降低模型调用成本。在 LLMRouterBench 上,COMPASS 以 \$139.57 达到 69.85% 的准确率,而 RLCascadeRouter 以 \$180.22 达到 69.14%。在固定五折交叉验证下的 DeepSWE 上,它以 \$215 达到 78.1%,而最佳单一模型以 \$500 达到 74.1%。COMPASS 还支持跨基准的路由,并通过读取新的评估记录来适应扩展的模型池,而无需更改路由器的权重或提示。
| 评论: | 14 页,4 幅图 |
| 主题: | 人工智能(cs.AI) |
| ACM 分类: | I.2.6; I.2.7 |
| 引用为: | arXiv:2610.27822 [cs.AI] |
| (或 arXiv:2610.27822v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.27822 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Amin Rezaei [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 08:13:24 UTC(257 KB)
来源:arXiv cs.AI · arxiv.org