arXiv cs.AI· Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi·· 12 小时前AI 评分34
内存受限 LLM 推理中的服务自致拥塞机制
Service-Induced Congestion in Memory-Constrained LLM Serving
AI 导读
研究提出内存受限 LLM 推理的离散时间动力学模型，刻画连续批处理下的请求准入、KV cache 增长与驱逐过程。在饱和输入下，无驱逐的固定点不稳定，系统会收敛到唯一的最坏情况极限环，吞吐损失最高达 50%。异构负载中互质解码长度可稳定无驱逐平衡，非互质长度则产生同步模式引发不稳定。
正文 · AI 翻译
摘要：在大语言模型（LLM）服务中，每个请求在服务期间都会随着每生成一个 token 而增长的键值缓存，持续累积图形处理器（GPU）内存。在高并发下，聚合内存使用量因此会随时间内生增长：服务过程本身就会制造未来的容量压力。当内存容量被超出时，系统会驱逐活跃请求，丢弃已缓存状态并在之后重新启动它们，这浪费了计算并降低了吞吐量。我们建立了一个内存受限 LLM 推理的离散时间动力学模型，刻画了连续批处理下的准入、内存增长与驱逐。在饱和输入情形下，系统既有无驱逐的不动点，也有带驱逐的极限环。对于同构工作负载，我们证明无驱逐均衡是不稳定的，并且除一个 Lebesgue 测度为零的精确捕获集外，系统收敛到一个唯一的、在该例外集之外渐近稳定的最坏情况极限环，吞吐量损失可高达 50%。对于异构工作负载，我们证明了双类别共同输入设定下的稳定性判据，并解释了生存多项式机制如何推广到多类别和异构输入长度。在输入主导的缩放情形下，互素解码长度会稳定无驱逐均衡，而非互素长度会产生同步模式并驱动不稳定。这些结果刻画了工作负载异构性何时使完成去同步化，并有助于稳定内存受限服务。更广泛地说，我们将服务诱发的拥塞识别为一种结构性不稳定机制，并推导出维持高吞吐量的调度设计原则。
| 评论： | 100 页。v2：新增了使用基准工作负载的 GPU 实验（附录 D.4）并修订了图表 |
| 主题： | 优化与控制（math.OC）；人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2606.15555 [math.OC] |
| （或此版本的 arXiv:2606.15555v3 [math.OC]） | |
| https://doi.org/10.48550/arXiv.2606.15555 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruicheng Ao [查看邮箱]
[v1]
2026 年 6 月 14 日周日 02:49:03 UTC（3,058 KB）
[v2]
2026 年 10 月 19 日周一 03:59:06 UTC（1,354 KB）
[v3]
2026 年 10 月 20 日周二 03:22:51 UTC（1,355 KB）
来源：arXiv cs.AI · arxiv.org