CompilerKV:离线编译校正表压缩KV缓存
热点事件持续更新
CompilerKV:离线编译校正表压缩KV缓存
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Ning Yang等作者提出 CompilerKV,一种 KV 保留策略:把校正表从校准语料离线编译,在线校正阶段在标准观察窗口扫描后只需 O(1) 查表加预算钳制。 作者称,在 512-token 预算下,该策略在四个骨干模型上均达到压缩 SOTA,平均比最强 prefill-only 基线高 1.67 分;在 32k NIAH 上得分 0.89,SnapKV 为 0.42。
AI 根据报道生成 · 47 分钟前更新
最新进展11月5日 13:00
CompilerKV:通过离线经验编译实现风险自适应 KV 压缩报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AICompilerKV:通过离线经验编译实现风险自适应 KV 压缩
CompilerKV 将 KV 保留策略的校正表从校准语料离线编译,把在线校正简化为 O(1) 查表加预算钳制。在 512-token 预算下,它在四个骨干模型上均达到压缩 SOTA,平均比最强 prefill-only 基线高 1.67 分;32k NIAH 上得分 0.89,SnapKV 为 0.42。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。