arXiv cs.CL· Patrick Haller, Filipe Laitenberger, Alan Akbik·· 12 小时前AI 评分31
PACE：面向四比特循环状态的分段与通道对齐量化编码
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI 导读
PACE 是一种事后四比特状态量化器，不再每生成一个 token 就舍入状态，而是每隔几个 token 舍入一次，中间 token 暂存于小缓冲区，以减少状态中累积的误差。
正文 · AI 翻译
摘要：线性注意力语言模型将上下文保存在固定大小的循环状态中，推理系统会为同时解码的每个序列存储该状态的一份副本。因此，以较低精度存储该状态可以让更多序列共享同一块加速器。现有的状态量化器在每生成一个 token 后对状态进行舍入，并报告称四位精度会损失准确率，除非提高位宽或对模型进行微调。\par 我们提出 PACE，一种事后四位状态量化器。PACE 仅每隔几个生成的 token 对状态舍入一次，正如分块内核在预填充期间已经对每个块执行一次那样，并将中间生成的 token 保存在一个小缓冲区中。减少舍入频率可降低状态中累积的误差。此外，我们发现门控 delta 状态中的大条目会聚集在列中，因为每个 token 写入的更新中某些通道在许多 token 上始终保持较大。因此，PACE 在一个列内共享每个量化缩放因子。它还将保留舍入误差时间最长的头保持在八位。在四个参数规模从 4B 到 35B 的混合模型上，采用四比特和八比特混合头的 PACE 在三个较大模型上与八比特 DAMP 相比具有竞争力，内存约为其三分之二；全程采用四比特头的 PACE 在同等内存下得分高于 Q-Mamba；并且每隔几个 token 舍入一次可保持缓冲区的解码加速效果。
| 评论： | 11 页，6 张表，7 张图 |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.29545 [cs.CL] |
| （或 arXiv:2610.29545v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29545 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Patrick Haller [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 10:31:52 UTC（411 KB）
来源：arXiv cs.CL · arxiv.org