arXiv cs.AI· Irene Tenison, Abdulrahman Alabdulkareem, Daniel Karl I. Weidele, Nima Dehmamy, Dan Gutfreund·· 11 小时前AI 评分38
RACE：基于 Query-Key 激活能量的 RoPE 对齐注意力压缩
RACE: RoPE-Aligned Attention Compression Based on Query-Key Activation Energies
AI 导读
RACE 是一种训练后注意力压缩方法，通过按 Query-Key 联合激活能量选择完整的 rotary 对，将预训练注意力转为原生降维形式，压缩直接折叠进模型权重，无需运行时重建或专用 kernel。
正文 · AI 翻译
摘要：头维度压缩可以减少键值（KV）缓存所需的内存，但现有方法在推理时往往需要重建全维度表示，从而带来显著的解码 FLOPs 开销。我们系统梳理了将预训练注意力转换为原生降维形式的设计考量，该形式利用校准集同时降低 KV 缓存存储和注意力计算。具体而言，我们考虑满足以下条件的降维方式：(1) 对查询和键施加共享投影，使二者保持在共同的降维特征空间中；(2) 从查询和键的激活中联合推导该投影，以更好地保留二者的交互；(3) 与预训练的 RoPE 变换兼容。为获得该降维的无重建实现，我们将其限制为坐标选择，并从理论上证明：当且仅当保留完整的旋转对时，RoPE 兼容性才成立。基于这一刻画，我们提出 RACE，一种利用旋转对的联合查询-键激活能量来选择旋转对的后训练方法。我们从理论上证明，该准则最小化了 RoPE 后查询-键乘积近似误差的一个可分离的、依赖校准集的上界。所得的降维被折叠进模型权重，既不需要运行时重建，也不需要专用内核。在三个模型系列和不同压缩级别上，RACE 在语言建模、零样本和长上下文任务上优于结构化剪枝，并与基于重建的方法保持竞争力。在 50% KV 缓存保留率和 256K 上下文下，与未压缩模型相比，RACE 将总推理 FLOPs 降低 47.8%，吞吐量提升 1.79 倍，首 token 时间（TTFT）降低 43.2%，分配的 GPU 内存降低 28.1%。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28385 [cs.AI] |
| （或本版本的 arXiv:2610.28385v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.28385 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Irene Tenison [查看邮箱]
[v1]
2026年10月20日 星期二 15:34:02 UTC（6,380 KB）
来源：arXiv cs.AI · arxiv.org