研究：前缀缓存智能体服务会陷入持久退化

Wen Huang、Jack Liu 等发表论文称，前缀缓存下的 LLM 智能体服务存在“亚稳态”：在相同基础负载下，仅几分钟的额外请求涌入，就会让 vLLM 服务器陷入约 10% 命中率、吞吐减半、积压持续增长约 70 分钟的退化状态；没有突发流量的对照组则保持健康。论文称，12 对对比中有 9 对出现这一现象，反向情况一例也没有。 该研究把这一现象归因于前缀缓存机制本身，并提出了缓解策略，但报道未说明这些策略的具体效果。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。