arXiv cs.CL· Yuxing Peng, Zhiqing Tang, Weijia Jia·· 11 小时前AI 评分26
非前缀 KV-cache 复用中，修复预算该花在哪？干扰块结构与上下文兼容性
Where Should a KV-Cache Repair Budget Go? Distractor Structure and Contextual Compatibility in Non-Prefix Reuse
AI 导读
研究在三个 7B-8B 模型和四个数据集上考察非前缀 KV-cache 复用的修复预算分配：复用会丢失全量预填充能回答的 19%-100% 上下文相关问题，且干扰块与目标块同类时损失更大。
正文 · AI 翻译
摘要：非前缀 KV 缓存复用会独立编码检索到的文本块，并将它们的缓存拼接起来。为了找出应在何处投入少量修复预算，我们在三个 7B-8B 模型和四个数据集（对话记忆、开放域问答和 API 文档）上，改变承载答案的文本块（目标块）周围的文本块。复用会丢失完整预填充能够回答的上下文相关问题的 19-100%，并且当其他文本块与目标块类型相同时，丢失得更多。由于可恢复的损害分散在这些其他文本块上，恢复其中少数几个收效甚微，预算最好花在目标块上。这通过上下文兼容性起作用：在所有测试的七种设置中，针对复用缓存重新计算目标块都优于插入其完整预填充 KV，尽管重新计算的 KV 与完整预填充 KV 仍相差甚远。然而，在复用缓存上的问题注意力在开发问题中最多只有 18.8% 能选中目标块。检索器找到它的频率更高，并且在九个开放域问答和 API 文档设置中的六个里，将其最相关的文本块移到问题旁边后重新计算，在相同 5% 预算下显著优于 InfoFlow 风格的重排序。不过，在对话记忆上，重新计算文本块从未显著优于为每种设置选择的 token 级选择器。
| 评论： | 36 页，6 幅图，34 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06397 [cs.CL] |
| （或 arXiv:2611.06397v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06397 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxing Peng [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 12:02:58 UTC（163 KB）
来源：arXiv cs.CL · arxiv.org