arXiv cs.CL· Jasper Dekoninck, Maximilian Baader, Martin Vechev·· 12 小时前AI 评分34
LLM 路由与级联的统一方法：cascade routing 框架
A Unified Approach to Routing and Cascading for LLMs
AI 导读
研究者提出 cascade routing，将 LLM 的 routing（按查询选单一模型）与 cascading（依次调用更大模型）统一为一个理论最优策略，并为现有 routing 策略给出最优性证明、为 cascading 推导出新的最优策略。
正文 · AI 翻译
摘要：嵌入各类智能体系统中的大量大型语言模型（LLM）的可用性，显著提升了模型选择策略在改善成本-性能权衡方面的潜力。现有策略包括路由（每个查询选择一个模型）和级联（依次运行越来越大的模型，直到找到满意的答案）。然而，当前方法面临三个关键局限：它们（1）缺乏最优性的形式化证明，（2）未能确定这些策略在何种条件下最能有效改善成本-性能权衡，（3）无法结合两种范式以进一步改进。为解决这些问题，我们首先推导出一种新的级联最优策略，并证明了现有路由策略的最优性。此外，我们提出了级联路由，这是一个将路由与级联整合为理论最优策略的统一框架。通过分析，我们确定高质量估计器是模型选择范式成功的关键因素。最后，在实验中，我们表明级联路由始终大幅优于单独的方法，并分析质量估计器以确定路由和/或级联何时是有用的模型选择范式。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2410.10347 [cs.CL] |
| （或 arXiv:2410.10347v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2410.10347 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jasper Dekoninck [查看邮箱]
[v1]
2024年10月14日星期一 10:00:49 UTC（263 KB）
[v2]
2025年2月14日星期五 13:13:33 UTC（801 KB）
[v3]
2025年5月22日星期四 12:34:14 UTC（994 KB）
[v4]
2026年10月12日星期一 09:00:03 UTC（731 KB）
[v5]
2026年10月26日星期一 22:53:14 UTC（731 KB）
来源：arXiv cs.CL · arxiv.org