arXiv cs.AI· Zongyue Qin, Haoran Deng, Jason Cong, Yizhou Sun·· 3 天前AI 评分22
LLoPS：面向高效线性注意力的可学习低秩多项式草图
Learnable Low-Rank Polynomial Sketch for Effective Linear Attention
AI 导读
针对线性注意力中近似多项式核存在不可忽略误差的问题，研究者提出可学习低秩多项式草图 LLoPS，从多项式核近似视角证明其近似误差严格小于现有方法。在大量基准上，LLoPS 相比多种线性注意力基线取得最高性能，该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：Transformer 中的 Softmax 注意力在序列长度上具有二次复杂度，使其难以应用于长上下文场景。线性注意力通过用替代函数替换指数核来实现线性时间计算，从而缓解了这一问题。在现有的线性注意力方法中，近期研究表明多项式核尤为有效，因为它们表现出与 softmax 注意力相似的稀疏且尖峰的行为，即强调大的点积同时抑制无关的交互。然而，高次多项式核的精确计算在高维表示下是不可行的。因此，先前的工作依赖于近似多项式核。这引入了不可忽略的近似误差。在本文中，我们从多项式核近似的角度表明，现有的线性注意力方法仍然不是最优的。我们提出了\textbf{L}earnable \textbf{Lo}w-Rank \textbf{P}olynomial \textbf{S}ketch（LLoPS），一个用于以线性注意力近似多项式核的原则性且灵活的框架。我们的方法学习一种低秩多项式草图，可证明其近似误差严格小于现有方法。实验结果表明，与各种线性注意力基线相比，LLoPS 在大量基准测试中取得了最高的性能。
| Comments: | Neurips 2026 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.14219 [cs.LG] |
| （或 arXiv:2610.14219v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14219 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Zongyue Qin [查看邮箱]
[v1]
2026年10月9日星期五 18:30:52 UTC（314 KB）
来源：arXiv cs.AI · arxiv.org