arXiv cs.AI· Shuxin Liu, Qing Liu, Yi Du, Ou Wu·· 3 天前AI 评分24
CORE：覆盖校准的 KV 保留与补偿，统一长上下文解码的保留与补偿双通道
One Distribution, Two Channels: Coverage-Calibrated KV Retention and Compensation
AI 导读
CORE 通过一个校准分布同时驱动 KV 保留与补偿两个通道，在 90% 压缩率下于三个骨干模型上最高超过最强 RULER 基线 3.78 分。该方法将查询效用与对数行列式覆盖的离线分配蒸馏为轻量缓存感知索引器，推理时无需单独的写入权重预测器或在线对数行列式评估。LongBench 与重复驱逐评测进一步验证了其有效性与解码效率。
正文 · AI 翻译
摘要：长上下文解码日益受到键值（KV）缓存内存和带宽的限制。现有的固定预算压缩方法通常将保留与补偿分离，而保留排序既未指定被丢弃的注意力质量，也未指定所导致输出误差的方向。我们从一个精确的因式分解出发：驱逐误差等于被驱逐的注意力质量乘以被驱逐质心与保留输出之间的方向差距，这凸显了保留中集合级覆盖以及保持质量的记忆写入的重要性。我们提出了用于 KV 缓存的 CORE COverage Calibration and Evicted-Mass REdistribution，它将结合查询效用和对数行列式覆盖的离线分配蒸馏为一个轻量级的缓存感知索引器。在推理时，一个校准后的分布同时驱动两个通道：其 Top-$B$ 排序保留互补的 KV 状态，而其被排除的分配质量和条件权重参数化潜在记忆写入，无需单独的写入权重预测器或在线对数行列式评估。我们的分析提供了一个四项预补偿误差证明，刻画了非加性覆盖交互，并通过循环和查询自适应归一化建立了具有分层边界的质量无关写入稳定性。在三个骨干模型上，CORE 在 90% 压缩率下比最强的 RULER 基线高出最多 3.78 分；LongBench 和重复驱逐评估进一步展示了强大的有效性和解码效率。
| 评论： | 更新了标题元数据以匹配 PDF；稿件内容未变 |
| 主题： | 硬件架构（cs.AR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.02235 [cs.AR] |
| （或 arXiv:2610.02235v2 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02235 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuxin Liu [查看电子邮件]
[v1]
2026年9月28日星期一 08:31:48 UTC（1,281 KB）
[v2]
2026年10月10日星期六 07:52:25 UTC（1,284 KB）
来源：arXiv cs.AI · arxiv.org