arXiv cs.AI· Tianqi Chen, Xunchao Li, Linchuan Xie, Guanghua Yu, Jianchen Zhu, Peisong Wang, Jian Cheng·· 12 小时前AI 评分38
RAQ-MLA：面向多头潜在注意力缓存的角色感知量化
RAQ-MLA: Role-Aware Quantization for Multi-Head Latent Attention Caches
AI 导读
RAQ-MLA 提出一种无需训练的 MLA KV 缓存量化方法，可将完整缓存量化至约 2.5 bits/元素，理论缓存容量提升 6.5 倍。该方法针对 MLA 缓存的两个张量分别设计可逆变换：潜在向量主要承载 value，按注意力加权 value 误差拟合；位置 key 主导注意力分数，按分数扰动拟合。在四个 MLA 模型上，推理与编码任务几乎无损。
正文 · AI 翻译
摘要：多头潜在注意力（MLA）已被近期前沿大语言模型采用。MLA 并不缓存每个头的键和值，而是缓存一个压缩的 KV 潜在表示，在解码时将其上投影为键和值，同时缓存一个窄的位置键，将位置信息带入注意力分数。现有的 KV 缓存量化方法围绕标准注意力的键和值设计，并未考虑 MLA 实际缓存的内容，因此在低比特宽度下会损失精度。我们从激活分布以及量化误差如何传播到注意力输出两个方面分析了 MLA 缓存，并表明这两个缓存张量扮演不同的角色：潜在表示主要提供值，而位置键主导注意力分数。因此，我们提出 RAQ-MLA（面向多头潜在注意力缓存的角色感知量化），针对每个缓存张量对注意力输出造成的误差拟合一个可逆变换：对潜在表示采用注意力加权值误差，对位置键采用分数扰动。无需训练，RAQ-MLA 即可将完整 MLA 缓存量化到约每元素 2.5 比特，理论 KV 缓存容量提升 6.5 倍，同时在四个 MLA 模型的推理和编码任务上几乎无损。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.33625 [cs.AI] |
| （或本版本的 arXiv:2610.33625v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.33625 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chen Tianqi [查看邮箱]
[v1]
2026年10月24日星期六 11:54:55 UTC（7,327 KB）
来源：arXiv cs.AI · arxiv.org