arXiv cs.CL· Michel Fabrice Serret, Laura Grigori·· 10 小时前AI 评分31
基于核插值方法的注意力机制上下文压缩
Kernel-based Interpolatory Methods for Context Compression of Attention Mechanisms
AI 导读
研究者提出 GAIM 和 Q-DAIM 两种 KV-cache 压缩方法，分别基于 Generalized Empirical Interpolation Method（GEIM）与 Q-Discrete Empirical Interpolation Method（Q-DEIM）。
正文 · AI 翻译
摘要：注意力机制是现代语言模型的基本构建模块，其瓶颈在于相对于上下文规模的二次复杂度。因此，对上下文进行压缩（也称为 KV-cache 压缩）的兴趣日益增长。在本文中，我们考虑注意力机制上下文的压缩问题，首先将其在与核相关联的希尔伯特空间中形式化。在这种形式化中，注意力可以表示为两个线性映射的比值，其插值也是插值的比值，这使我们能够直接考虑线性映射的插值。因此，我们引入了两种新颖的 KV-cache 压缩方法，分别称为 GAIM 和 Q-DAIM，基于广义经验插值方法（GEIM）和 Q-离散经验插值方法（Q-DEIM）。由于这些方法的成本相对于上下文长度是二次的，我们提出了基于泰勒级数、Performer 和随机傅里叶特征方法的代理模型，使压缩能够在在线性时间内完成。最后，我们将这一结果扩展到流式注意力设置，提供了新方法，允许根据先前插值的上下文惩罚插值节点的选择，并根据新信息更新先前的插值。然后，我们提供了关于残差收敛性和未来查询中输出误差的数值结果，以及在 LongBench-E 基准上的初步结果，显示性能与最先进方法相当。这些实验表明，我们的 Q-DAIM 方法所揭示的范围可能有助于识别信息在 KV cache 中集中的位置，从而实现高效压缩。
| 评论： | 44 页，17 幅图，8 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；数值分析（math.NA） |
| MSC 分类： | 65D05（主）65D12、65F55、46E22、41A05、68T07、68T50（次） |
| 引用为： | arXiv:2610.40943 [cs.LG] |
| （或 arXiv:2610.40943v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.40943 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michel Fabrice Serret [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 20:21:13 UTC（409 KB）
来源：arXiv cs.CL · arxiv.org