跳到正文
热点事件持续更新

CompilerKV:离线编译校正表压缩KV缓存

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Ning Yang等作者提出 CompilerKV,一种 KV 保留策略:把校正表从校准语料离线编译,在线校正阶段在标准观察窗口扫描后只需 O(1) 查表加预算钳制。 作者称,在 512-token 预算下,该策略在四个骨干模型上均达到压缩 SOTA,平均比最强 prefill-only 基线高 1.67 分;在 32k NIAH 上得分 0.89,SnapKV 为 0.42。

AI 根据报道生成 · 47 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    CompilerKV:通过离线经验编译实现风险自适应 KV 压缩

    CompilerKV 将 KV 保留策略的校正表从校准语料离线编译,把在线校正简化为 O(1) 查表加预算钳制。在 512-token 预算下,它在四个骨干模型上均达到压缩 SOTA,平均比最强 prefill-only 基线高 1.67 分;32k NIAH 上得分 0.89,SnapKV 为 0.42。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。