跳到正文
OpenRouter Announcements·· 17 小时前精选AI 评分62

OpenRouter 发布新一代 Auto Router 与编码专用 Auto Code 路由器

Introducing the New Auto and Auto Code Routers

AI 导读

OpenRouter 发布新一代 Auto Router,并新增编码专用路由器 Auto Code(openrouter/auto-code),旗舰通用版仍为 openrouter/auto。

推荐理由

原文给出了新路由器的技术基础、基准对比和成本取舍,读者可据此判断自动选模型在编码场景的实用边界。

正文 · AI 翻译

今天我们推出新一代 Auto Router。基于过去 3 年运行 Auto Router 所积累的全部经验,我们在一个全新的技术基础上从零重建了它,根据基准测试的不同,其表现最高可达旧版路由器的 4 倍,在我们的实测中,路由步骤在 p90 上快了 3 倍(0.65 秒对 1.96 秒)。

路由器在基准测试中取得好成绩,比在实践中表现出色要容易。Auto Router 每月处理来自超过 10 万人的逾 2.5T tokens,因此它必须在真实世界中经得起考验。

本次发布包括一个专为编码工作打造的全新路由器 Auto Code(openrouter/auto-code),以及我们的旗舰通用型 Auto Router(openrouter/auto)。

现在即可试用:在任意请求中将 model 设为 openrouter/auto 或 openrouter/auto-code,或打开聊天室中的 Auto Router。查看 Auto Router 文档了解全部细节。

本代的新变化

上一代 Auto Router 依赖少数不精确的信号(例如任务类型)来驱动模型选择,这是为了保持低延迟和判断一致性而不得不做出的限制。新的 Auto Router 和 Auto Code 通过权衡每个请求的十一个因素,并结合实时定价、提供商健康状况和缓存状态来选择模型。

这一新流程让 Auto Router 能够与任意模型集合配合工作。你可以应用任何治理策略,包括护栏、零数据保留要求、提供商限制、允许的模型列表和 BYOK 密钥。Auto Router 会从你可用的模型中做出高效选择。

我们推出新的 Auto Code 路由器,是基于用户对在编码环境中使用通用路由器的体验反馈。该路由器从底层开始针对编码性能进行调优,纳入更高层级的编码模型并优化延迟。在以下五项基准测试中,Auto Code 的得分与 Claude Opus 5.5 相当,而每任务成本低 74%。

Heatmap comparing the new Auto Router at its default tier, Auto Code, and the previous Auto Router at its default tier across Deep SWE, SWE-Atlas QA, Terminal Bench 4.0, τ³-bench Banking, and MMMU Pro Vision. Each benchmark shows a score and a cost per task with the multiple of the previous Auto Router; score cells are shaded green or red, deeper for larger changes (light mode)

Heatmap comparing the new Auto Router at its default tier, Auto Code, and the previous Auto Router at its default tier across Deep SWE, SWE-Atlas QA, Terminal Bench 4.0, τ³-bench Banking, and MMMU Pro Vision. Each benchmark shows a score and a cost per task with the multiple of the previous Auto Router; score cells are shaded green or red, deeper for larger changes (dark mode)

在上一代中,我们还观察到,最低成本模型的显著效率导致 Auto Router 在每任务成本上不断下探,遗漏了许多出色的模型。我们在本次发布中决定将定价回调至接近几个月前 Auto 的水平,以引入更多种类的模型。如果你更喜欢之前的行为,可以将 cost_tier 设为 low 以获得类似的成本表现。

在聊天室中查看路由决策背后的推理

开始了解这些新路由器工作方式的最简单方法,是在聊天室中选择 Auto Router 或 Auto Code。每条回复旁会出现一个路由洞察面板,显示路由器为何选择该模型。启用路由器元数据后,也可通过 API 获得同样的分析。

The OpenRouter chatroom with Auto Router selected. A Python RecursionError question was answered by DeepSeek V4.1 Flash on InferenceNet. The routing insights panel shows the task (Debugging, 98%), the selection share across the candidate models, and the difficulty, precision, and larger-model-benefit judgments.

在每个模型页面观看实时路由组合

Auto Router 和 Auto Code 模型页面现在会显示每个路由器最常选择哪些模型(按会话类型拆分),以及随着难度上升组合如何变化。

Live routing section of the Auto Router model page: a bar chart of requests in the past day by model with Agentic and Non-agentic tabs and cost tier filters, a share-of-requests list led by GPT-6.1 Sol at 33.8%, and a stacked area chart of the current routing mix for all tasks from trivial to extreme difficulty.

与其他路由器和单一模型比较性能

Auto Router 和 Auto Code 的基准测试结果发布在模型路由基准测试页面上,与 OpenRouter 上的其他路由器及单一模型基线并列展示。我们会定期重新运行这些测试,因此你可以跟踪每个路由器在新模型发布时如何跟上步伐。

建立在多年运行 Auto Router 的经验教训之上

Auto Router 即将迎来它的三岁生日。如果你多年前在某个 agent 中设置了 openrouter/auto,那么今天你依然能获得最新的成本最优选择。我们深入了解了自动模型选择在哪些地方容易出错,并构建了新一代版本以避免这些问题。举几个例子:

我们拆分出了 Auto Code,专门针对 harness 进行优化。 关于旧版 Auto Router 最常见的抱怨,就是它在编码 harness 中的表现。Auto Code 更倾向于选择价格略高、但能力与编码工作相匹配的模型层级。它更看重速度,因为在你构建的过程中响应速度很重要。它对失败的惩罚也更严厉,因此在成功与失败界限分明的工作中能更快地纠正方向。

它在切换模型上保持克制,以保护缓存收益。 切换模型会带来额外开销,因为新模型需要重建输入 token 缓存。Auto Router 更倾向于在推理强度上做出调整(如果这已经足够),只有当收益值得放弃缓存时才会切换。在我们的 beta 期间,它在大约每十个 agent 回合中有近九个保持使用同一个模型。

它能适应失败。 当一个会话以指向模型问题的方式出错时,例如同一个错误反复出现,或编辑后测试失败,这些信号会提高切换的概率。这使得会话因早期选错模型而陷入困境的可能性大大降低。

它同时基于真实使用情况和基准测试进行调优。 Auto Router 会随着每一次基准测试运行和每一个真实路由决策而变得更好。通过 typesafe/jev-router 和 openrouter/auto-beta,我们已经在生产工作负载上验证了它,同时全程遵守零数据保留。在我们的 beta 中,与上一代路由器相比,无效工具调用减少了 4 倍,agentic 响应被截断的频率降低了一半。

模型路由建立在领先的 Provider Routing 基础之上

像 Auto Router 和 Auto Code 这样的模型路由器负责选择由哪个模型来处理请求。Provider routing 则负责选择由谁来提供该模型。OpenRouter 从一开始就对每一个请求执行这一流程:一旦选定模型,provider router 就会根据你的 provider 偏好、实时在线率与延迟、价格,以及某个 provider 是否已持有你的提示缓存,在托管该模型的 provider 之间进行选择。

模型路由器的表现上限取决于底层 provider router 的水平。我们构建 Auto Router 时让它了解我们的整个目录,因此它能随着治理限制、基准测试结果以及新模型发布带来的市场信号实时调整。OpenRouter 上 600 多个模型中的每一个,在加入当天就会进入候选集合,而基准测试和热度信号决定它能否在成本最优集合中赢得一席之地。

请求如何流经 Auto Router

  1. Auto Router 会缩小模型池。护栏、零数据保留、模型能力、provider 限制、BYOK 密钥,以及任何允许或排除的模型列表,共同决定哪些模型会被纳入考虑。

  2. 一个快速的决策模型会处理请求。在一次调用中,它会评估十一项内容,例如这是什么类型的任务、任务是否刚刚发生变化、难度如何、速度是否重要、是否需要视觉能力或对代码库的了解,以及更大的模型、更多的思考还是更便宜的模型能更好地服务它。

  3. 路由策略负责选择模型。它会权衡实时价格、缓存状态和基准测试表现,据此同时选定模型和推理强度。

  4. 该请求会经过与直接请求该模型相同的提供商路由,因此会落到该模型最合适的提供商上。

  5. 每一轮的结果都会影响下一轮的模型选择。路由器会将模型是否吃力、哪些内容已缓存等信号带入下一次决策。

路由器与单一模型

基准测试一致表明,市面上没有任何路由器能在成本与质量曲线的每一个点上击败单一最强前沿模型。新的 Auto Router 也不例外,我们公开其基准测试,以清楚地展示其优势与不足。

当工作内容多样、组织需要保持成本稳定,或者用户没有时间或兴趣跟进源源不断的模型发布时,路由器就有了用武之地。选择 Auto Router 或 Auto Code 而非单一模型,是以牺牲一点峰值性能来换取长期稳定、高性价比的表现。

如果你已经知道哪种模型最适合你的具体工作,就继续使用它。如果你更愿意只选一次、然后专注于工作本身,路由器就是实现这一目标的方式。

开始使用

Auto Router 和 Auto Code 可用于任何填写模型字符串的位置:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openrouter/auto-code",
    "messages": [{"role": "user", "content": "Add a retry with backoff to fetchUser in api/users.ts"}]
  }'

阅读 Auto Router 文档 了解完整设置,或打开 聊天室中的 Auto Router,向它发送你通常会手动挑选模型的提示词。在 Discord 的 #feedback 中告诉我们它哪些地方做得好、哪些地方做得不对。

常见问题

从旧版 Auto Router 切换需要做哪些改动?

完全不需要。slug 仍然是 openrouter/auto,auto-router 插件设置 cost_tier、allowed_models 和 excluded_models 仍然有效。

Auto Router 和 Auto Code 有什么区别?

两者运行在同一个路由引擎上。Auto Router 是面向混合流量和通用智能体的通用路由器,倾向于选择高性价比层级的模型。Auto Code 专为编码智能体和运行框架设计,起始于更高成本层级,并会跨模型和推理强度权衡实测通过率、速度和每个已解决任务的成本。

模型路由和提供商路由是一回事吗?

不是。模型路由选择由哪个模型处理请求;提供商路由选择由哪个提供商为该模型提供服务。Auto Router 和 Auto Code 负责前者,然后 OpenRouter 的提供商路由根据你的提供商偏好、正常运行时间数据和提示缓存状态负责后者。

路由器会遵守我的防护规则和数据策略吗?

会。防护规则策略、零数据保留要求、提供商限制、允许和排除的模型列表以及 BYOK 密钥共同定义了模型池,路由器会在其中选择成本最优的模型。

不会。你支付的是实际处理该请求的模型的标准价格,响应中的 model 字段会告诉你具体是哪个模型。

openrouter/auto-beta 是什么?

Auto Router Beta 是下一版 Auto Router 的发布通道。新的路由变更会先发布到 openrouter/auto-beta,验证成熟后再升级到 openrouter/auto,因此你可以用它提前了解即将推出的内容。如果你尝试了它,请在 Discord 的 #feedback 中告诉我们它哪些地方做得好、哪些地方做得不对。

来源:OpenRouter Announcements · openrouter.ai