RAQ-MLA：MLA缓存无需训练量化至2.5比特

Tianqi Chen等作者提出面向多头潜在注意力（MLA）缓存的角色感知量化方法RAQ-MLA。该方法无需训练，可将完整MLA缓存量化至约2.5比特/元素，作者称理论缓存容量因此提升6.5倍。 方法按缓存中两个张量的不同作用分别设计可逆变换：潜在向量主要承载value，按注意力加权后的value误差拟合；位置key主导注意力分数，按分数扰动拟合。 作者称，在四个MLA模型上，该方法在推理与编码任务上几乎无损。上述容量提升为理论值，无损效果为作者报告结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。