研究者提出DAR按距离压缩KV缓存

Zhiyuan Wang等作者提出距离自适应表示（DAR）注意力方法，用于压缩KV缓存：在局部上下文窗口内保留全维度的Key/Value，对窗口外的token改用1/2或1/4的降维表示。 该设计按token与当前位置的距离分配表示维度，近处保留完整信息，远处降低维度。报道未给出该方法在具体模型或任务上的压缩率与效果数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。