跳到正文
热点事件持续更新

Fast KVzip:门控驱逐七成KV缓存

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Jang-Hyun Kim等作者提出基于门控的KV缓存驱逐方法Fast KVzip,在冻结权重的LLM上最多可驱逐70%的KV缓存,同时保持接近无损的性能。 该方法引入轻量的sink-attention门控模块来识别并保留关键KV对,可接入prefill与解码阶段;门控训练只依赖前向传播,无需反向传播。上述效果与“接近无损”均为作者在论文中的表述。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    Fast KVzip:用门控 KV 驱逐实现高效准确的 LLM 推理

    Fast KVzip 提出一种基于门控的 KV cache 驱逐方法,可在冻结权重 LLM 上驱逐最多 70% 的 KV cache,同时保持接近无损的性能。该方法引入轻量 sink-attention 门控模块识别并保留关键 KV 对,可无缝接入 prefill 与解码阶段,门控训练仅依赖前向传播、无需反向传播。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。