arXiv cs.AI· Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Wajih Hassan Raza, Atta Ul Asad, Young D. Kwon, Michal Valko, Dean F. Hougen·· 10 天前AI 评分22
LORE-KV：用蒙特卡洛估计做 KV Cache 驱逐
Monte Carlo Estimation for KV Cache Eviction
AI 导读
研究者提出免训练的 KV cache 驱逐方法 LORE-KV，通过从冻结目标模型采样短自回归续写、用其响应侧 query 状态估计 prompt token 效用，把固定预算的未来感知驱逐建模为对模型条件查询轨迹的分布估计。
正文 · AI 翻译
摘要：大多数 KV 缓存淘汰方法实际上是在问：在阅读提示词时，哪些记忆显得重要？我们则问：在回答时，哪些记忆会重要？由于在淘汰时解码查询尚不可用，此前的未来感知方法依赖伪响应或合成的未来查询估计。我们将固定预算的未来感知淘汰建模为对可能的模型条件查询轨迹的分布估计，并提出 LORE-KV（Lookahead Output-perturbation with Reliability-weighted Ensembles for Key-Value caches），这是一种免训练方法，它从冻结的目标模型采样短自回归续写，并利用其响应侧查询状态来估计提示词 token 的效用。Token 通过投影式留一法注意力输出删除代价进行评分，并在采样的未来之间聚合，可选进行轨迹加权。临时续写在最终解码前被丢弃，无需辅助模型或训练。消融实验分离出该机制：在 B=128 时，单个响应侧续写即可恢复相对于提示词窗口对照约 89% 的增益，而更多未来仅带来较小改进。在 B=128 时，LORE-KV 将 Qwen2.5-14B 上的 LongBench 平均值从 45.49 提升至 48.24（+2.75），并将 Mistral-7B 上的 16K RULER 平均值从 45.20 提升至 51.05（+5.85）。增益在更大的缓存预算下递减，并与任务级性能回退并存。在六个稠密和混合注意力骨干网络上，LORE-KV 作为一次性压缩开销，其每样本墙钟时间是 AnDPro 的 1.46-2.77 倍。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07643 [cs.CL] |
| （或 arXiv:2610.07643v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07643 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ahsan Bilal [查看电子邮件]
[v1]
2026年10月6日星期二 02:36:50 UTC（706 KB）
来源：arXiv cs.AI · arxiv.org