arXiv·· 13 天前AI 评分27
长链推理解码期 KV 压缩：字节该花在广度上——BreadthKV 的精度与数量权衡
Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning
AI 导读
针对长链思维链推理中 KV cache 需在固定内存预算下在线压缩的问题，BreadthKV 提出把固定字节预算更多分配给低精度缓存的 token 数量，将量化与逐出结合，并用 60 道题的端到端校准为每个模型和预算选择位宽，因为离线注意力误差无法可靠预测该选择。该研究在三个推理模型上评估了这一精度-数量权衡。
来源：arXiv · arxiv.org