arXiv·· 12 天前AI 评分26
LORE-KV:用蒙特卡洛估计做 KV Cache 驱逐
Monte Carlo Estimation for KV Cache Eviction
AI 导读
LORE-KV 是一种免训练的 KV cache 驱逐方法,把固定预算下的未来感知驱逐建模为对模型条件查询轨迹的分布估计,通过采样短轨迹来估计哪些记忆在回答时才会起作用。该方法名为 Lookahead Output-perturbation with Reliability-weighted Ensembles for Key-Value caches,无需伪回答或合成未来查询。
来源:arXiv · arxiv.org