arXiv cs.CL· Dor Tsur, Maor Ashkenazi, Maximilian Golub, Peter Hicks, Yaniv Galron, Talor Abramovich, Yoav Miron, Tiyasa Mitra, Bita Darvish Rouhani, Ran Zilberstein·· 12 小时前AI 评分29
RIFT：面向草稿模型的 KV Cache 压缩与可压缩性训练
RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training
AI 导读
RIFT 是一组基于选择的 KV Cache 压缩策略，通过平衡 prefill 信息与近期生成 token 缓解"decode staleness"问题。
正文 · AI 翻译
摘要：推测解码是一种流行的解码加速方法。因此，它尤其适用于长输出生成，而长输出生成需要越来越大的 KV 缓存。KV 缓存压缩提供了一种在长上下文草稿生成中控制成本的方法。然而，专注于预填充信息的压缩方法可能会随着输出长度的增长而失去相关性。我们将这一现象称为解码陈旧性，并表明它会在基于选择的 KV 缓存压缩下降低草稿模型的准确性。我们提出了 RIFT，这是一系列基于选择的 KV 缓存压缩策略，用于平衡预填充信息和最近生成的 token。我们表明，在 token 生成过程中刷新 KV 缓存选择会显著提高草稿器的质量，代价是额外的解码延迟。为了降低刷新成本，我们提出了一种自适应 KV 刷新策略，在保持草稿器质量的同时减少评分计算的次数。我们进一步展示了基于稀疏注意力掩码的、由可压缩性驱动的草稿器训练阶段如何在压缩的 KV 缓存下提高草稿器的质量。结合可压缩性训练，RIFT 使 Qwen3.5-4B 在为 Qwen3.5-122B 生成草稿时，在 32K token 输入、4K token 输出和 8K token KV 缓存预算下，保持其全缓存接受长度超过 98%。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31098 [cs.CL] |
| （或 arXiv:2610.31098v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31098 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dor Tsur [查看电子邮件]
[v1]
2026年10月22日星期四 11:12:23 UTC（119 KB）
来源：arXiv cs.CL · arxiv.org