跳到正文
热点事件持续更新

TwinRouterBench:智能体LLM路由双赛道评测基准

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Pei Yang等作者提出并发布TwinRouterBench,一个面向智能体LLM路由的步骤级评测基准,分静态与动态两条赛道。静态赛道提供来自SWE-bench、BFCL、mtRAG、QMSum和PinchBench的520个实例共970条路由可见前缀,每条前缀都配有目标层级,该层级按公开的降级级联协议估算并经执行验证;评分只对层级标签、轨迹归属和token成本做确定性算术,不设在线评审方LLM裁判。 动态赛道提供一套评测框架,可在完整的500例SWE-bench Verified套件上运行路由器;论文报告的是与静态SWE监督划分不相交的100例留出评测。每次LLM调用时,路由器从锁定模型池中选择具体模型,成功与否以官方任务解决结果和实际API花费衡量。作者称代码与数据已公开。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    TwinRouterBench:面向真实智能体 LLM 路由的快速静态与实时动态评测基准

    TwinRouterBench 是一个步骤级 LLM 路由评测基准,分静态与动态两条赛道。静态赛道提供来自 SWE-bench、BFCL、mtRAG、QMSum 和 PinchBench 的 520 个实例共 970 条路由可见前缀,每条配有按公开降级级联协议估算并经执行验证的目标层级,评分仅基于层级标签、轨迹归属和 token 成本的确定性算术,无需在线 LLM 评审。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。