TwinRouterBench：面向真实智能体 LLM 路由的快速静态与实时动态评测基准
TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing
TwinRouterBench 是一个步骤级 LLM 路由评测基准，分静态与动态两条赛道。静态赛道提供来自 SWE-bench、BFCL、mtRAG、QMSum 和 PinchBench 的 520 个实例共 970 条路由可见前缀，每条配有按公开降级级联协议估算并经执行验证的目标层级，评分仅基于层级标签、轨迹归属和 token 成本的确定性算术，无需在线 LLM 评审。
作者：Pei Yang、Wanyi Chen、Tongyun Yang、Pengbin Feng、Jiarong Xing、Wentao Guo、Yuhang Yao、Yuhang Han、Hanchen Li、Xu Wang、Yuan Gao、Zeyu Wang、Jie Xiao、Anjie Yang、Liang Tian、Lynn Ai、Eric Yang、Tianyu Shi
摘要：LLM 路由在编码智能体、深度研究系统和计算机使用智能体等长程应用中最为重要，因为单个用户请求会触发多次模型调用。将每次调用路由到成本最低且足够胜任的模型，可以在不牺牲质量的前提下降低成本，然而现有的路由器基准仅在一轮提示上评估路由器。它们从未在智能体的中间步骤暴露路由器可见的前缀，从未测试更廉价的替代模型能否保持下游任务成功，并且通常在评估时依赖在线 LLM 评判器。我们提出 TwinRouterBench，一个具有两条轨道的步骤级路由基准。静态轨道提供来自 SWE-bench、BFCL、mtRAG、QMSum 和 PinchBench 的 520 个实例的 970 个路由器可见前缀，每个前缀都配有一个经执行验证的目标层级，该层级在已发布的降级与级联协议下估计得出；评分是对层级标签、轨迹归属和 token 成本的确定性算术计算，不设在线评估方 LLM 评判器。动态轨道提供一个测试框架，可在完整的 500 例 SWE-bench Verified 套件上运行路由器；在本文中，我们报告了与静态 SWE 监督划分不相交的 100 例留出评估。在每次 LLM 调用时，路由器从锁定池中选择一个具体模型，成功与否由官方任务解决情况和实际 API 支出衡量。这两条轨道支持快速离线迭代，随后在实时智能体执行下进行端到端验证。代码和数据可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.18859 [cs.LG] |
| （或 arXiv:2605.18859v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18859 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pei Yang [查看电子邮件]
[v1]
2026年5月14日星期四 08:58:59 UTC（244 KB）
[v2]
2026年5月22日星期五 02:55:33 UTC（348 KB）
[v3]
2026年9月29日星期二 12:28:31 UTC（347 KB）
[v4]
2026年9月30日星期三 04:49:28 UTC（347 KB）
[v5]
2026年10月24日星期六 09:04:19 UTC（388 KB）
来源：arXiv cs.AI · arxiv.org