arXiv cs.CL· Dongwei Wang, Jinhee Kim, Seokho Han, Denis Gudovskiy, Yohei Nakata, Tomoyuki Okuno, KhayTze Peong, Kang Eun Jeon, Jong Hwan Ko, Yiran Chen, Huanrui Yang·· 11 小时前AI 评分31
MoBiQuant：面向 Token 自适应任意精度 LLM 的混合比特量化框架
MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM
AI 导读
MoBiQuant 是一个任意精度的混合比特量化框架，按 token 敏感度动态调整权重精度，实现灵活的 LLM 推理。它提出多合一递归残差量化，可在运行时迭代重建更高精度权重，并用 token 感知路由器缓解精度相关的离群值迁移问题。实验显示其性能匹配或超越前沿单精度 PTQ，相比 SOTA 任意精度方法吞吐提升最高 1.34 倍，代码已开源。
正文 · AI 翻译
作者：Dongwei Wang、Jinhee Kim、Seokho Han、Denis Gudovskiy、Yohei Nakata、Tomoyuki Okuno、KhayTze Peong、Kang Eun Jeon、Jong Hwan Ko、Yiran Chen、Huanrui Yang
摘要：动态运行时延迟和内存限制要求灵活的大语言模型（LLM）部署，其中 LLM 可以根据可用计算资源以各种量化精度进行推理。近期关于此类任意精度量化的研究要么依赖硬件效率低下的向量量化，要么在切换位宽时引入额外的缩放因子。与此同时，针对固定低精度校准的现有训练后量化（PTQ）方法在运行时精度变化时表现出较差的泛化性。在本工作中，我们将跨位宽泛化性差的原因归结为精度相关的离群值迁移现象，即对 PTQ 敏感的 token 的分布随精度变化而变化。受此观察启发，我们提出了 MoBiQuant，一种新颖的任意精度混合位量化框架，可根据 token 敏感性调整权重精度，以实现灵活的 LLM 推理。具体而言，我们提出了一种多合一递归残差量化方法，可以在运行时迭代重建更高精度的权重，并通过 token 感知路由器动态选择每个 this http URL 的最优推理精度来缓解离群值迁移。实验表明，MoBiQuant 匹配或超越了前沿的单精度 PTQ，同时表现出很强的弹性，与最先进的任意精度方法相比，实现了显著的内存节省和高达 $1.34\times$ 的吞吐量提升。我们的代码可在 this https URL 获取。
| Comments: | NeurIPS 2026 Camera-ready |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.20191 [cs.LG] |
| （或此版本的 arXiv:2602.20191v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2602.20191 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dongwei Wang [查看电子邮件]
[v1]
2026 年 2 月 21 日星期六 21:11:08 UTC（3,462 KB）
[v2]
2026 年 5 月 25 日星期一 16:17:59 UTC（4,174 KB）
[v3]
2026 年 10 月 31 日星期六 19:11:45 UTC（5,528 KB）
来源：arXiv cs.CL · arxiv.org