arXiv cs.AI· Han Yu, Wenhui Zhu, Jincheng Cao, Rui Cai, Yuanda Xu, Zhengze Zhou, Xiwen Chen, Hao Wang, Xuanzhao Dong, Han Shi, Menglin Zhou, Shayan Mohajer Hamidi, Lin Su, Mina Razghandi, Sayan Ghosh, Qing Lan, Rohit Jain, Alborz Geramifard·· 3 天前AI 评分22
面向演化上下文的预算化 KV-Cache 修复：Semantic-Unit Refresh
Budgeted KV-Cache Repair for Evolving Contexts
AI 导读
针对语言模型智能体删除上下文后 KV 缓存仍受旧内容影响的问题，研究者提出预算化 KV-Cache 修复，即只重算保留后缀中用户指定比例的部分来恢复任务性能。其 Semantic-Unit Refresh（SUR）方法用低成本嵌入分数把预算分配给查询相关的文本区域，无需训练或额外 Transformer 前向。
正文 · AI 翻译
作者：Han Yu、Wenhui Zhu、Jincheng Cao、Rui Cai、Yuanda Xu、Zhengze Zhou、Xiwen Chen、Hao Wang、Xuanzhao Dong、Han Shi、Menglin Zhou、Shayan Mohajer Hamidi、Lin Su、Mina Razghandi、Sayan Ghosh、Qing Lan、Rohit Jain、Alborz Geramifard
摘要：语言模型智能体会在信息过时后修改其工作上下文，但删除文本并不会消除其对缓存计算的影响。后续的键值（KV）状态仍然以被删除的内容为条件，而重新计算整个保留后缀的代价可能很高。我们提出预算化 KV 缓存修复：通过重新计算用户选定比例的保留后缀来恢复任务性能。在相同相关性分数和 token 预算下比较修复分配，我们发现刷新连贯区域可以显著优于刷新孤立 token。这一发现促成了语义单元刷新（SUR），它使用低成本的嵌入分数将预算分配给与查询相关的文本区域，无需训练或辅助 transformer 前向传播。为了高效执行这些修复，分层打包执行器在每一层同时处理选定的状态，同时保留完整的因果缓存访问。在五个模型上，SUR 在受控删除任务中实现了强恢复，同时仅重新计算后缀的 2-5%。在四个自然多跳问答数据集上，它以 5% 的预算达到接近完全重新计算的精确匹配，并具有更低的编辑后延迟。该执行器将碎片化刷新相比逐区间执行加速最高达 16.1 倍。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17338 [cs.AI] |
| （或 arXiv:2610.17338v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17338 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Han Yu [查看邮箱]
[v1]
2026年10月12日星期一 19:44:57 UTC（623 KB）
来源：arXiv cs.AI · arxiv.org