arXiv cs.AI· Junjie Li, Jiong Lou, Jie Li·· 3 天前AI 评分26
GateSight：用循环记忆预判注意力记忆，实现混合 LLM 的查询无关 KV 淘汰
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
AI 导读
GateSight 利用 GDN 层在 prefill 阶段发出的写门、衰减和写入幅度信号，通过轻量级 per-head MLP 预测 KV 条目的未来效用，从而在未见查询前决定各注意力层保留哪些条目。
正文 · AI 翻译
摘要：混合语言模型将循环记忆大小固定的门控 DeltaNet（GDN）层与全注意力层交错排列，后者的键值（KV）缓存随上下文增长，并在服务内存中占主导地位。在本文中，我们探究循环记忆是否已经知道注意力记忆将需要什么。我们首先表明，Qwen3.8-27B 中哪些 GDN 头保持长记忆是由权重而非文档决定的。接下来，我们通过移除某个 KV 条目会在多大程度上改变模型自身续写上的注意力输出来定义该条目的未来效用，并发现 GDN 层在预填充期间发出的写门、衰减和写入幅度在任何查询被看到之前就已预见到这一效用。由于这种关系分散在许多 GDN 头和层中，且线性映射能恢复其趋势，但相比非线性映射会丢失更多高效用尾部，我们提出 GateSight，它用轻量级的逐头多层感知机来学习这种关系，这些感知机读取这些信号而不读取注意力分数。它们的预测效用决定每个注意力层保留哪些条目，而每层保留多少则由模型原生的注意力输出门设定，其均值在各层之间相差超过一个数量级。最后，在服务时，GateSight 在预填充后对缓存评分一次，并物理释放被丢弃的 KV 条目。在 SCBench 和 RULER-4096 上使用 Qwen3.8-27B 以及采用相同配方的稀疏注意力模型 Qwen3.8-Flash-Next 进行的实验结果，直至模型 262K token 的上限，表明在注意力 KV 缓存仅为十分之一的情况下，GateSight 在四个模型-基准组合中的三个上都是五种查询无关方法中最准确的，并在全部四个上领先 KVzip，领先 9.5 至 47.2 分。值得注意的是，它能在相对于预填充可忽略不计的开销下对全长上下文进行评分。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.14754 [cs.AI] |
| （或 arXiv:2610.14754v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14754 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Junjie Li [查看电子邮件]
[v1]
2026年10月10日星期六 09:19:05 UTC（672 KB）
来源：arXiv cs.AI · arxiv.org