arXiv cs.AI· Guannan Lai, Long Chen, Han-Jia Ye·· 11 小时前AI 评分34
LLM 路由为何在宽松预算下过度选择强模型:EquiRouter 提出成本感知排序方案
When LLM Routers Overpay: The Cost of Strong-Model Preference
AI 导读
研究发现现有 LLM 路由器在宽松成本预算下会过度选择最强最贵的模型,即使更便宜的候选模型效用相当,作者将这一现象称为“宽松预算下的强模型过度选择”。为此提出 EquiRouter,通过成本感知排序目标和轻量级查询-模型交互表示,学习查询相关的模型排序并在等效候选中优先选择低成本模型。
正文 · AI 翻译
摘要:LLM 路由旨在通过将简单查询分配给成本更低的模型、并将更强的模型保留给确有需要的场景,从而降低推理成本。然而,我们发现现有路由器在宽松成本预算下常常违背这一原则:随着预算增加,它们越来越倾向于选择最强、最昂贵的模型,即使成本更低的可行候选模型能提供相当或相同的效用。我们将这一行为称为宽松预算下的强模型过度选择。我们的分析表明,仅凭歧义性无法解释这一现象。当定价不同的模型提供等价或近乎等价的效用,而路由器对昂贵模型保持持续的模型级偏好时,就会出现大幅超额付费;预算放宽通过使高价候选模型变得可行而暴露了这一偏好。基于这一诊断,我们提出 EquiRouter,这是一种决策对齐的路由器,它学习依赖查询的模型排序,保留有意义的效用差异,并通过成本感知排序目标和轻量级查询—模型交互表示,在等价候选中显式偏好成本更低的模型。在多种文本、多模态、连续效用和大模型池设置下的实验表明,EquiRouter 在保持有竞争力的峰值性能和整条曲线性能的同时,持续提升成本效率。代码见 此 https URL。
| 评论: | 已被 NeurIPS 2026 接收 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2602.03478 [cs.AI] |
| (或 arXiv:2602.03478v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2602.03478 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Guannan Lai [查看邮箱]
[v1]
2026 年 2 月 3 日星期二 12:51:55 UTC(887 KB)
[v2]
2026 年 11 月 5 日星期四 14:55:53 UTC(507 KB)
来源:arXiv cs.AI · arxiv.org