arXiv cs.AI· Zukang Xu, Zhixiong Zhao, Xing Hu, Zhe Jiang, Xin Si, Dawei Yang·· 12 小时前AI 评分27
CoS-VQ：面向大语言模型的协同共享尺度向量量化
CoS-VQ: Coordinated Shared-Scale Vector Quantization for Large Language Models
AI 导读
CoS-VQ 提出一种协同共享尺度向量量化方法，在保留低维码字的同时联合优化硬索引与跨位置共享尺度，避免增加有效编码维度。在 Qwen3.8-27B 上，该方法在语言建模、编程和推理基准上优于 QTIP 和 LLVQ。消融实验显示，联合更新的收益大于仅优化尺度，代码已开源。
正文 · AI 翻译
摘要：大语言模型（LLM）需要大量内存，这推动了低比特权重量化以实现高效部署。现有的向量量化（VQ）方法通常通过增大有效编码维度来提高准确率，但这会使独立的查找和局部码字更新变得复杂。我们提出 CoS-VQ（协调共享尺度向量量化），它在保留低维码字的同时，联合优化硬索引及其跨位置的共享尺度。关键挑战是尺度引发的耦合：最优尺度取决于整个码字组合，反过来又会改变各位置的候选排序，因此即使重新优化尺度，逐点更新也可能停滞。CoS-VQ 在多个探测尺度上收集候选，并为残差感知的二次目标构造切线可分离上界。通过将候选比较简化为正尺度上直线的下包络，它能在不穷举码字组合的情况下，找出有限个用于索引—尺度联合更新的代表性区间。在 Qwen3.8-27B 上，CoS-VQ 在所评估的语言建模、编程和推理基准上优于 QTIP 和 LLVQ。从相同初始化出发的消融实验进一步表明，联合更新带来的增益大于仅尺度细化，凸显了联合选择作为增大码字维度之外的一种替代方案。代码见 此 https URL。
| 评论： | 20 页，3 幅图。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37336 [cs.LG] |
| （或 arXiv:2610.37336v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37336 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zukang Xu [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 14:43:00 UTC（2,128 KB）
来源：arXiv cs.AI · arxiv.org