跳到正文
arXiv cs.AI· Guannan Lai, Long Chen, Han-Jia Ye·· 11 小时前AI 评分34

LLM 路由为何在宽松预算下过度选择强模型:EquiRouter 提出成本感知排序方案

When LLM Routers Overpay: The Cost of Strong-Model Preference

AI 导读

研究发现现有 LLM 路由器在宽松成本预算下会过度选择最强最贵的模型,即使更便宜的候选模型效用相当,作者将这一现象称为“宽松预算下的强模型过度选择”。为此提出 EquiRouter,通过成本感知排序目标和轻量级查询-模型交互表示,学习查询相关的模型排序并在等效候选中优先选择低成本模型。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:LLM 路由旨在通过将简单查询分配给成本更低的模型、并将更强的模型保留给确有需要的场景,从而降低推理成本。然而,我们发现现有路由器在宽松成本预算下常常违背这一原则:随着预算增加,它们越来越倾向于选择最强、最昂贵的模型,即使成本更低的可行候选模型能提供相当或相同的效用。我们将这一行为称为宽松预算下的强模型过度选择。我们的分析表明,仅凭歧义性无法解释这一现象。当定价不同的模型提供等价或近乎等价的效用,而路由器对昂贵模型保持持续的模型级偏好时,就会出现大幅超额付费;预算放宽通过使高价候选模型变得可行而暴露了这一偏好。基于这一诊断,我们提出 EquiRouter,这是一种决策对齐的路由器,它学习依赖查询的模型排序,保留有意义的效用差异,并通过成本感知排序目标和轻量级查询—模型交互表示,在等价候选中显式偏好成本更低的模型。在多种文本、多模态、连续效用和大模型池设置下的实验表明,EquiRouter 在保持有竞争力的峰值性能和整条曲线性能的同时,持续提升成本效率。代码见 此 https URL。
评论: 已被 NeurIPS 2026 接收
主题: 人工智能(cs.AI)
引用为: arXiv:2602.03478 [cs.AI]
  (或 arXiv:2602.03478v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2602.03478

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Guannan Lai [查看邮箱]
[v1] 2026 年 2 月 3 日星期二 12:51:55 UTC(887 KB)
[v2] 2026 年 11 月 5 日星期四 14:55:53 UTC(507 KB)

来源:arXiv cs.AI · arxiv.org