arXiv cs.CL· Wanyang Hong, Zhaoning Zhang·· 2 天前AI 评分27
RoPERelay：稀疏 KV 缓存选择后的位置几何优化
Compression Does Not End at Selection: Post-Selection Positional Geometry for Sparse KV Caches
AI 导读
针对稀疏 KV 缓存中保留 token 仍沿用完整历史坐标、导致 RoPE 下被淘汰 token 的位置空隙持续干扰 query-key 匹配的问题，研究者提出 RoPERelay，为缓存键分配紧凑且保序的 RoPE 坐标，通过逆旋转与再旋转重定位键相位，并同步当前 query 与后续生成，无需重新选择、历史重预填充或额外缓存预算。
正文 · AI 翻译
摘要：稀疏 KV 压缩通过保留选定的历史状态来降低长上下文推理成本，但这些状态通常保留其在完整历史中的坐标。在旋转位置嵌入（RoPE）下，被逐出 token 留下的空隙会持续影响查询-键匹配，可能限制对保留证据的利用。我们在固定选择器生成的缓存上研究选择后的位置几何，考察位置组织如何影响保留信息的利用，以及哪些坐标与延续规则能提升答案质量。为重新组织这一几何结构，我们提出 RoPERelay，它分配紧凑且保序的 RoPE 坐标，通过逆旋转与再旋转重新定位缓存的键相位，并同步当前查询与后续生成。它复用现有 K/V，无需重新选择、历史重预填充或额外缓存预算。在涵盖两个模型、六种稀疏选择器和三项长期记忆任务的 36 组对比中，RoPERelay 在 32 种情况下提升了答案质量。对于在 LongMemEval-S 上使用 BM25 的 Llama-3.1-8B-Instruct，准确率从 23.6% 提升至 35.4%。在评估配置中，实测完整请求时间开销约为 1%-3%。这些发现确立了位置组织作为稀疏 KV 缓存在内容选择之后的独立优化维度。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21126 [cs.CL] |
| （或 arXiv:2610.21126v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21126 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wanyang Hong [查看邮箱]
[v1]
2026年10月15日星期四 02:30:27 UTC（451 KB）
来源：arXiv cs.CL · arxiv.org