arXiv cs.CL· Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han·· 3 天前AI 评分41
Latent Compaction：用测试时训练压缩 KV 缓存
Latent Compaction with Test-Time Training
AI 导读
研究提出 Latent Compaction，通过测试时训练学习文档专属的紧凑 KV 缓存，模型权重保持冻结，训练仅用文档通用提示词、不接触下游问答。在 RULER 上 32× 压缩下准确率达 96.7%，KVZip+ 仅为 40.0%，并在 Qwen3 和 MiniCPM5 上展现跨模型规模与家族的检索增益。
正文 · AI 翻译
摘要：长上下文会增大键值（KV）缓存，从而在生成过程中增加内存占用和注意力开销。压缩这些缓存必须为未见问题保留信息。我们提出 **Latent Compaction**，它通过测试时训练学习一个紧凑的、针对特定文档的缓存。我们使用重建重要性、教师注意力和键空间多样性来初始化缓存条目。训练首先将注意力输出和对数归一化器拟合到完整缓存的对应值，同时保持重建选出的条目固定。然后，它通过从完整缓存模型进行端到端蒸馏，联合优化整个缓存。模型权重始终保持冻结，训练仅使用关于文档的通用提示，不访问下游问题或答案。在 RULER、LongBench 和 Phonebook Lookup 上的实验表明，相比预算匹配的压缩基线有显著提升。例如，在 RULER 上，我们的方法在 32$\times$ 压缩下达到 96.7% 的准确率，而 KVZip+ 为 40.0%。该方法还能跨模型规模和系列迁移，在 Qwen3 和 MiniCPM5 上均获得检索增益。这些结果表明，将 KV 缓存视为神经网络并通过测试时训练对其进行优化，可以在激进压缩下保持检索准确率。代码发布于 此 https URL
| Comments: | 19 页，21 张图 |
| Subjects: | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20582 [cs.CL] |
| （或 arXiv:2610.20582v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20582 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingfa Chen [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 17:57:01 UTC（693 KB）
来源：arXiv cs.CL · arxiv.org