arXiv·· 13 天前AI 评分24
DeferKV：重新思考一次性 KV cache 压缩的驱逐时机
DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression
AI 导读
DeferKV 提出重新思考一次性 KV cache 压缩的驱逐时机，指出既有方法在 prefill 后立即执行不可逆驱逐，而此时尚无实际生成阶段的信号。定量分析显示，生成阶段早期 query 提供的注意力信号与后续 decode 注意力更一致，单步增益最大处出现在 prefill-decode 交界。
来源：arXiv · arxiv.org