arXiv cs.AI· Hardi Ashishbhai Desai, Balaji N K, Sourav Kanti Addya·· 3 天前AI 评分25
面向无服务器 LLM 推理的稳定 Token 级调度
Stable Token-level Scheduling for Serverless LLM Inference
AI 导读
研究者提出 Token Window Pacing（TWP），一种闭环调度框架，利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合分块 prefill 减少新请求对解码的干扰。
正文 · AI 翻译
摘要：无服务器推理正逐渐成为大语言模型（LLM）的一种高效部署模式，因为它能够弹性扩展资源、通过资源共享提高 GPU 利用率并降低基础设施成本。然而，现有方法主要优化首 token 时间（TTFT），而忽略了 token 间延迟（ITL），后者是响应生成过程中用户体验的关键决定因素。我们观察到，LLM 推理包含计算密集型的预填充阶段和带宽受限的解码阶段，其中接纳新请求会干扰正在进行的解码并增加延迟。为解决这一问题，我们提出了 Token Window Pacing（TWP），一种闭环调度框架，它利用来自 ITL、队列深度和工作负载特征的运行时反馈，在 token 级别而非批次级别调节请求接纳。TWP 动态调整一个自我调节的 token 窗口，并引入基于分块的预填充，以最大程度减少来自传入请求的干扰。在真实无服务器工作负载上的实验表明，TWP 能够提供稳定的 TTFT，显著减少延迟尖峰，降低 P99 尾部延迟，最小化 ITL 波动，并将吞吐量相比 ServerlessLLM 提升高达 45%，相比传统调度器提升 58%。这些结果表明，反馈驱动的 token 级调度能够在不修改底层模型的情况下，实现稳定、高吞吐的无服务器 LLM 推理。
| 评论： | 10 页，7 幅图，会议 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | C.4；C.5 |
| 引用为： | arXiv:2610.17689 [cs.AI] |
| （或使用 arXiv:2610.17689v1 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.17689 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sourav Kanti Addya [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 04:10:48 UTC（242 KB）
来源：arXiv cs.AI · arxiv.org