清华 TokenRouter：token 级 LLM 路由服务系统，吞吐量最高提升 64.15 倍

Rohan Paul· @rohanpaul_ai · X·2026-10-10 11:32· 41 分钟前AI 评分40

AI 导读

清华论文提出 TokenRouter，一个在 token 级进行大小模型路由的服务系统，吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题，TokenRouter 让每个模型独立部署并来回传递半成品答案，同时保留 KV cache，并短暂挂起请求以凑更大批次。

正文

清华新论文构建了 TokenRouter，一个在 token 级进行大小模型路由的服务系统，吞吐量最高达现有方案的 64.15 倍。

当前流行的服务框架（如 vLLM 和 SGLang）一次请求只运行一个模型，因此当两个模型共同完成一个答案时，每一步都要等待较慢的那个。

TokenRouter 让每个模型拥有自己的服务器，并让它们来回传递工作。因此，它在两者之间传递半成品答案，同时保留模型对已有文本的记忆（KV cache），并短暂挂起请求，以便每个模型处理更大的批次。

在 5 种路由方法中，吞吐量相比更强的现有方案提升了 2.01 到 64.15 倍。

– arxiv. org/abs/2610.12242

标题：“TokenRouter: Efficient Serving System for Token-Level LLM Routing”

来源：Rohan Paul · x.com