注意力偏置折叠进键，压缩KV缓存兼容标准内核

研究者 Utkarsh Kanwat 提出一种把 Attention Matching 的逐 key 偏置折叠进 key 的 KV 缓存压缩方法：沿每个 head 的一条闭式方向、用上下文查询拟合，把偏置并入 key，使压缩后的缓存变成普通缓存，尺寸和 head 维度与 Attention Matching 一致，并沿用模型自身的 query 路径。据该研究称，这样得到的缓存可直接被 FlashAttention 和 vLLM 的 paged cache 使用，无需专用内核。目前尚无独立验证或实际部署效果的数据。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。