RACE：按查询-键能量压缩RoPE注意力

Irene Tenison等作者提交论文，提出一种名为RACE的训练后注意力压缩方法：按Query-Key联合激活能量选择完整的rotary对，把预训练注意力转成原生降维形式。作者称，压缩结果直接折叠进模型权重，运行时无需重建，也不需要专用kernel。 该方法针对的是RoPE注意力中的KV缓存压缩，目前公开信息仅为论文表述，尚无独立验证或实际部署效果的数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。