arXiv cs.CL· Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher·· 11 小时前AI 评分34
CRE-Router：面向成本感知 LLM 服务的聚类、路由与升级级联框架
Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving
AI 导读
CRE-Router（Cluster, Route, Escalate）是一种两阶段方法，先聚类查询并按 TPOT 或 E2EL 预算将每个簇路由到误差与成本权衡最优的模型，再由质量估计器在生成后决定是否升级到强模型。
正文 · AI 翻译
作者：Yasmin Moslem、Magdalena Kacmajor、Vasudevan Nedumpozhimana、Ammar Abbas、Solmaz Panahi、David Lynch、Zhuangzhuang Nie、Alexandros Agapitos、Aleksandar Milenovic、Hongmeng Song、Yucheng Shi、Yue Pan、Patricia Buffini、John D. Kelleher
摘要：在本地部署开放权重语言模型，必须在准确性与计算成本之间做出权衡。托管不同规模的模型，可以让简单查询交给小而高效的模型，而困难查询交给大模型。我们提出 CRE-Router（Cluster, Route, Escalate），这是一种两阶段方法，用于决定由这些模型中的哪一个来回答每个查询。它先对查询进行聚类，并在每个输出 token 时间（TPOT）或每请求端到端延迟（E2EL）的预算约束下，将每个聚类路由到在误差与成本之间权衡最佳的模型。随后，它要么接受答案，要么在质量估计器拒绝答案时，将查询升级到强模型。路由在生成之前做决定，因此困难查询会直接交给强模型；升级在生成之后做决定，因此能捕捉路由无法预测的错误。除任务正确性标签外，它不需要其他标注。我们在 TeleMath、TeleQnA 和 AIME 上评估 CRE-Router，模型池包含在 A100 GPU 上服务的 2 到 9 个模型。CRE-Router 比其模型池中的高效模型更准确，并且与它升级到的强模型相当，同时每 token 成本更低。我们还发现，成本项的选择决定了哪些模型来服务工作负载；按聚类为每个模型定价可缩短每请求的等待时间；硬件变化会改变最佳路由。
| 评论： | 代码：此 https URL |
| 主题： | 性能（cs.PF）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.27457 [cs.PF] |
| （或 arXiv:2606.27457v2 [cs.PF] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.27457 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yasmin Moslem [查看电子邮件]
[v1]
2026年6月25日星期四 18:29:24 UTC（141 KB）
[v2]
2026年10月23日星期五 16:53:26 UTC（274 KB）
来源：arXiv cs.CL · arxiv.org