arXiv cs.AI· Samkit Jain, Sai Kishan Pampana, Shlok Agarwal·· 11 小时前AI 评分34
MLIPS：多层索引器池共享方法
MLIPS: Multi-Layer Indexer Pool Sharing
AI 导读
MLIPS 是一种免训练的多层索引器池共享方法，由生产者层发布大于注意力预算 K 的 top-M 候选池，后续层从中各自选取 top-K，从而共享候选搜索但保留独立打分与选择。
正文 · AI 翻译
摘要：稀疏注意力限制了每个查询所使用的键，但找到这些键在每个层仍可能需要全前缀扫描。我们提出 \textbf{MLIPS（多层索引器池共享）}，这是一种无需训练的方法，它在保留每个消费者自身打分与选择的同时共享候选搜索。生产者发布一个大于注意力预算 $K$ 的 top-$M$ 池；后续层从该池中选择各自的 top-$K$。在三个稀疏注意力模型系列上的测量表明，宽池带来的覆盖率远高于最终选择之间的重叠。我们在 vLLM 中为 DeepSeek-V4-Flash 实现了逐层共享、持久化解码复用以及粗粒度生产者。在四个长上下文套件上，每个生产者对应三个消费者层可带来 $1.14$--$1.40\times$ 的加速和 $14.8$--$27.4\%$ 的 GPU 能耗降低，单次运行中观察到的准确率变化为 $-1.49$ 至 $+0.29$ 个百分点。更广泛的共享会带来依赖任务的质量损失。采样的预填充轨迹还揭示了跨查询组和层反复出现的被选 KV 位置。我们刻画了这种共享工作集结构，并以此为基础提出 Top-$G$，一种用于预填充的探索性有界池构建方法。其部署、任务准确率和 serving 收益仍有待研究。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；性能（cs.PF） |
| 引用为： | arXiv:2610.27438 [cs.LG] |
| （或 arXiv:2610.27438v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27438 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shlok Agarwal [查看电子邮件]
[v1]
2026年10月20日星期二 00:37:29 UTC（1,593 KB）
来源：arXiv cs.AI · arxiv.org