arXiv cs.CL· Runguo Li·· 10 天前AI 评分23
BreadthKV：长链式推理解码期 KV 压缩的精度-数量权衡
Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning
AI 导读
BreadthKV 提出在固定字节预算下把更多字节分配给低精度缓存 token 而非高精度少量 token，将量化与驱逐结合，并通过 60 题端到端校准为每个模型和预算选择位宽。
正文 · AI 翻译
摘要：推理模型在解码长思维链（CoT）时会写入其大部分 KV 缓存，因此缓存必须在固定内存预算下在线压缩。解码时方法大多决定要逐出哪些 token。我们研究固定的字节预算应如何在缓存 token 数量与其精度之间分配。BreadthKV 将字节用于更多低精度 token，将量化与逐出相结合，并通过 60 题端到端校准为每个模型和预算选择位宽，因为离线注意力误差无法可靠地预测它。在三个推理模型和四个数学与科学基准上，它在 18 个设置中有 17 个得分高于仅逐出，并产生更短的输出。逐出所损失的大部分来自脱轨的运行，这些运行一直推理到长度上限却未得出答案。在我们的最紧预算下，对于 Qwen3-8B，逐出使 91% 的 AIME 样本达到上限，而 BreadthKV 为 40%。在同一协议下，BreadthKV 与使用多 27% KV 内存时间的联合率失真分配器（RDKV）在统计上无法区分，并且优于我们重新实现的 ThinKV。
| 评论： | 17 页，4 幅图，13 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.05685 [cs.CL] |
| （或 arXiv:2610.05685v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05685 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Runguo Li [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 01:56:50 UTC（113 KB）
[v2]
2026 年 10 月 7 日星期三 04:10:06 UTC（117 KB）
来源：arXiv cs.CL · arxiv.org