arXiv cs.AI· Wen Huang, Jack Liu·· 10 小时前AI 评分42
前缀缓存下的 LLM 智能体服务为何会陷入持续退化
Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving
AI 导读
研究发现前缀缓存的 LLM 智能体服务存在"亚稳态"：相同基础负载下，仅几分钟的额外请求涌入就会让 vLLM 服务器陷入约 10% 命中率、吞吐减半、积压持续增长 70 分钟的退化状态，而无突发流量的对照组保持健康（12 对中 9 对如此，反向无一例）。
正文 · AI 翻译
摘要：LLM 智能体以闭环会话驱动推理引擎，其上下文每轮都会增长，而经济地服务它们依赖于前缀缓存：一次命中只需约一千个 token 的增量预填充，一次未命中则要重新计算 10--40K token 的上下文。我们表明，这使得带前缀缓存的智能体服务处于亚稳态。在相同的基础负载下，几分钟的额外到达就会让 vLLM 服务器陷入退化状态——命中率约 10%、吞吐量约为一半，且积压在剩余 70 分钟内持续增长——而它的无突发孪生服务器保持健康（12 对中有 9 对；反向情况为零）。该状态出现在缓存预热服务器可承受的负载下，在没有前缀缓存时不会出现，并且在 SWE-bench 智能体轨迹形态的 Qwen3-32B 上以及 SGLang 上也会出现，后者能容忍更大的触发。更慢的服务使更多会话滞留在系统中，其工作集超出 KV 池，于是每一轮都变成重新计算；一个独立校准的一阶负载均衡条件界定了该状态何时能够消退。摆脱该状态是更难的问题：限制新准入在 7 次匹配的崩溃运行中仅恢复了 1 次，而按基于容量的限制暂停已准入会话则在几分钟内恢复了全部。CPU 卸载层会延迟崩溃，但无法阻止它。一个将活跃会话的常驻 KV 需求限制在池容量内的预算器，其阈值无需针对每个工作负载调优，在我们测试的每一次运行中都防止了该故障。
| 评论： | 12 页，8 幅图 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13412 [cs.DC] |
| （或 arXiv:2611.13412v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13412 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wen Huang [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 00:46:51 UTC（153 KB）
来源：arXiv cs.AI · arxiv.org