arXiv cs.CL· Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang·· 9 天前AI 评分27
TokenRouter：面向 Token 级 LLM 路由的高效服务系统
TokenRouter: Efficient Serving System for Token-Level LLM Routing
AI 导读
TokenRouter 是面向 Token 级 LLM 路由的高效服务系统，采用"请求中心编程、模型中心执行"原则，为每个 LLM 启动子服务器并异步分发请求，子服务器使用延迟批处理调度器。在不同路由算法、负载和模型组合下，其解码吞吐量比现有系统高 2.01-64.15 倍，代码已开源，论文被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：大语言模型（LLM）路由将推理工作分配到不同模型上，从而推进 LLM 服务的成本-质量帕累托前沿。尽管在会话或查询级别的粗粒度路由已在生产系统中被广泛采用，但近期的算法工作表明，细粒度的 token 级路由可以带来显著的效率和质量提升。然而，高效地服务 token 级路由推理对现有系统提出了重大挑战。当前系统基于单 LLM 假设构建，在 token 级路由下会遭受严重的步调不同步和频繁的批次准入延迟，并且给开发者带来很高的实现复杂度。为应对这些挑战，我们设计了 TokenRouter，一个高效且对开发者友好的 token 级路由 LLM 推理服务系统。TokenRouter 遵循以请求为中心的编程、以模型为中心的执行原则：开发者从单个请求的视角描述路由逻辑，而运行时为每个 LLM 启动一个子服务器并异步分派请求。每个子服务器采用延迟批处理调度器，其最优超参数由系统的数学吞吐量模型推导得出。在多种路由算法、工作负载和模型组合下，TokenRouter 的解码吞吐量比现有系统高 2.01-64.15 倍，显著提升了 token 级 LLM 路由的服务效率。我们的代码可在 此 https URL 获取。
| Comments： | 被 NeurIPS 2026 接收 |
| Subjects： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12242 [cs.CL] |
| （或 arXiv:2610.12242v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12242 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tengxuan Liu [查看邮箱]
[v1]
2026年10月8日星期四 16:21:50 UTC（329 KB）
来源：arXiv cs.CL · arxiv.org