Behavior-Preserving KV Cache Compression：面向大模型长上下文推理的无训练 KV 缓存压缩

针对长上下文推理中 KV 缓存这一主要瓶颈，研究者提出 Behavior-Preserving KV Cache Compression，一种无需训练的压缩框架。现有免训练淘汰策略多依赖注意力权重等代理重要性信号，而该方法改为以是否显著改变模型输出分布来评估候选淘汰项，从而保留完整缓存模型的预测行为。