arXiv cs.AI· Zhiwei Chen, Zhongtao Rao, Waikit Xiu, Yuxiang Zhang, Shuting Cui, Jian Chen, Tianxiang Zhao·· 3 天前AI 评分24
LatentRemedy：多智能体系统中非前缀 KV Cache 复用的高效补救方案
LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems
AI 导读
针对多智能体系统中非前缀 KV Cache 跨智能体复用导致模型性能最多下降 90% 的问题，LatentRemedy 用少量任务条件 latent token 帮助目标智能体在不重算共享块的情况下理解复用上下文，MLP 将目标前缀的最后隐藏状态映射为 latent token 并置于复用 KV 块之后，通过全预填充蒸馏训练。
正文 · AI 翻译
摘要：非前缀 KV 缓存复用是一种提升多智能体系统推理效率的有前景的方法，因为智能体共享相同的上下文块。然而，当智能体任务相互冲突时，直接在智能体之间复用非前缀 KV 缓存会严重降低模型性能，导致高达 90% 的下降。现有补救措施，包括选择性重计算和基于偏移的校准，只能恢复这种损失的一小部分。我们认为，问题不仅在于被污染的 KV 表示，还在于智能体难以根据自身指令解读复用的上下文。为此，我们提出 LatentRemedy，它使用少量任务条件化的潜在 token 来帮助目标智能体利用复用的上下文，而无需重计算共享块。具体而言，我们使用 MLP 将目标前缀的最后一个隐藏状态映射为少量潜在 token，这些 token 被放置在复用的 KV 块之后，以与共享上下文交互。为了引导后续预测朝向目标任务，我们通过全预填充蒸馏来训练 MLP。实验表明，在冲突任务上，LatentRemedy 持续优于现有的复用基线，同时随着缓存规模增长，TTFT 接近直接复用。代码和数据可在 此 https URL 获取。
| Comments: | 22 页，包含多张图 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.18014 [cs.CL] |
| （或 arXiv:2610.18014v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18014 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Zhiwei Chen [查看邮箱]
[v1]
2026年10月13日 星期二 09:12:45 UTC（916 KB）
来源：arXiv cs.AI · arxiv.org