arXiv cs.AI· Bahareh Nikpour, Hossein Rajabzadeh, Maryam Dialameh, Vahid Partovi Nia, Parsa Omidi·· 6 天前AI 评分32
Kronecker Product Attention：通过结构化分解实现内存高效的 KV 压缩
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
AI 导读
研究者提出 Kronecker Product Attention（KPA），将 key 和 value 激活表示为紧凑、依赖 token 的矩阵因子的 Kronecker 积之和，在四个模型规模和九个下游基准上与 TPA、MHA、MQA、GQA、MLA 持平或更优，同时实现最高 10x 的 KV cache 压缩。
正文 · AI 翻译
摘要：高效自回归生成日益受到键值（KV）缓存内存占用的限制，该占用随序列长度、批大小和模型深度线性增长。现有方法如多查询注意力（MQA）、分组查询注意力（GQA）、多头潜在注意力（MLA）和张量积注意力（TPA）通过不同的权衡降低这一开销，但往往牺牲表达能力、需要额外的位置编码机制，或施加限制性的低秩结构。我们提出克罗内克积注意力（KPA），将键和值激活表示为紧凑的、依赖于 token 的矩阵因子的克罗内克积之和。KPA 严格推广了 TPA：秩一向量外积分解作为退化的克罗内克拆分出现，而非退化的矩阵因子可以表示更丰富的块结构模式。我们进一步表明，与克罗内克表示相匹配的结构化旋转嵌入算子保留了 RoPE 的相对位置性质，同时仅旋转紧凑因子，从而无需像 MLA 那样使用解耦的 RoPE 分支。在实验中，在相同训练条件下，KPA 在四种模型规模和九个下游基准上达到或超过 TPA、MHA、MQA、GQA 和 MLA，同时实现高达 10 倍的 KV 缓存压缩。克罗内克头拆分是一个可调超参数，使从业者能够在设计时无需更改架构即可权衡压缩与精度。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.12657 [cs.LG] |
| （或 arXiv:2610.12657v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12657 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bahareh Nikpour [查看电子邮件]
[v1]
2026年10月8日星期四 19:23:56 UTC（227 KB）
来源：arXiv cs.AI · arxiv.org