arXiv cs.CL· Yuhao Liu, Yuehao Li, Linghe Zhang, Gaobin Huang, Junran Li, Hongchang Wang, Haifang Jian·· 10 小时前AI 评分26
EarlySelectKV：用跨层查询代理提前完成 KV 选择
EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies
AI 导读
EarlySelectKV 提出一种免训练方法，用较早隐藏状态的代理查询提前预计算稀疏 KV 选择索引，同时保留真实目标层查询用于最终注意力。在 RocketKV 主评测中，ES-RocketKV 在 LongBench 上相差 +0.018 分、RULER 约 -0.01 分、NIAH/Passkey 提升 0.25 个百分点。
正文 · AI 翻译
摘要：基于查询条件的稀疏 KV 选择通过在每一步解码时仅关注历史 KV 条目的一个子集，从而降低长上下文推理成本。现有选择器必须等待目标层查询就绪后才能对候选进行评分并生成索引，这使得路由位于紧邻注意力之前的关键路径上。我们提出 EarlySelectKV，这是一种无需训练的变换方法，它利用来自较早隐藏状态的代理查询预先计算选中的 KV 索引，同时保留真实的目标层查询用于最终注意力计算。使用 RocketKV、Quest 和 Loki 进行的测试表明，在所评估的设置中，质量下降并未呈现出一致的规律。在主要的 RocketKV 评估中，ES-RocketKV 在 LongBench 上相差 +0.018 分，在 RULER 上约为 -0.01 分，在具有代表性的 NIAH/Passkey 设置上为 +0.25 个百分点。在采用 CPU 卸载路由的 TensorRT-LLM 部署中，ES-RocketKV 将端到端输出吞吐量最多提升 12.4%，并将 GPU 常驻内存减少至 KV/K-summary 合并池的 11.1%。这使得路由时机与 KV 子集选择一样，成为稀疏长上下文解码中一个明确的优化目标。代码可在 此 https URL 获取。
| 评论： | 发表于 EMNLP 2026。20 页。代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01715 [cs.CL] |
| （或 arXiv:2611.01715v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01715 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 2026 年自然语言处理经验方法会议论文集，第 5272-5291 页（2026 年） |
| 相关 DOI： | https://doi.org/10.18653/2026.emnlp-main.229
链接到相关资源的 DOI |
提交历史
来自：Yuhao Liu [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 09:03:49 UTC（2,142 KB）
来源：arXiv cs.CL · arxiv.org