arXiv cs.CL· Philipp Nazari, Neehal Tumma, Daniela Rus, T. Konstantin Rusch·· 11 小时前AI 评分38
循环语言模型量化比你想的更容易：LoReS 在 Qwen-3.5 9B 等模型上实现 8-bit 状态量化
Quantizing Recurrent Language Models Is Easier Than You Think
AI 导读
研究提出 LoReS 状态量化流程，在 Qwen-3.5 9B、Nemotron-H 8B 和 Kimi-Linear 48B-A3B 上支持稳健的 8-bit 循环状态量化，并在更短解码步长下支持更低有效精度。
正文 · AI 翻译
摘要：线性递推正日益成为大语言模型中常见的构建模块，它以固定大小的递推状态取代 softmax 注意力不断增长的 KV 缓存，从而实现高效解码。然而，量化技术栈主要围绕 softmax Transformer 发展而来，其数值特性和推理状态与递推模型不同。我们的目标是理解这些差异，并研究递推模型量化方法的设计空间。在分析中，我们区分了两个目标。第一，额外状态量化涉及递推状态之外的权重和激活，其分布由训练期间的序列混合器间接塑造。在受控的 1.3B 参数模型中，我们发现衰减递推产生的残差离群通道比 softmax 注意力更弱，因此无需非相干处理即可更容易地量化。第二，状态内量化涉及解码期间递推状态本身，其中重复更新会产生与 KV 缓存量化不同的数值问题。我们将研究发现实例化为 LoReS，一个状态量化流水线，结合了值轴尺度分组以匹配输出通道幅度、基于衰减的混合精度以保护缓慢衰减的头或通道，以及随机舍入以限制重复再量化下的误差累积。在 Qwen-3.5 9B、Nemotron-H 8B 和 Kimi-Linear 48B-A3B 上，LoReS 支持稳健的 8 位状态量化，并在较短解码视野下支持更低的有效精度。我们在 vLLM 中实现了 LoReS，并展示了端到端解码加速。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01864 [cs.LG] |
| （或 arXiv:2611.01864v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01864 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Philipp Nazari [查看电子邮件]
[v1]
2026年11月1日星期日 12:55:09 UTC（461 KB）
来源：arXiv cs.CL · arxiv.org