arXiv cs.CL· Sebastian Loeschcke, Ivan Koryakovskiy, Tycho F. A. van der Ouderaa, Riccardo Del Chiaro, Mart van Baalen, Paul N. Whatmough, Markus Nagel·· 12 小时前AI 评分34
SQuAT：面向十亿参数 LLM 的球面格矢量量化感知训练方法
SQuAT: Spherical Lattice Vector Quantization-Aware Training
AI 导读
SQuAT 是一种形状-增益矢量量化感知训练（VQ-QAT）方法，对形状与增益分别使用独立的直通估计器（STE），使方向更新落在切空间，形成隐式的球面（黎曼）优化。
正文 · AI 翻译
摘要：向量量化（VQ），尤其是基于格的方法，为低比特大语言模型（LLM）提供了强大的率失真权衡，但其在量化感知训练（VQ-QAT）下的行为仍鲜为人知。我们将格 VQ-QAT 扩展到十亿参数级 LLM 和数十亿 token 的训练规模，并提出了 SQuAT，一种形状-增益 VQ-QAT 方法，对形状和增益分别使用独立的直通估计器（STE）进行训练。SQuAT 将权重分解为方向和幅度：归一化方向使用由 $E_8$ 导出的球面码本进行量化，而增益则使用低比特标量量化器独立量化。我们表明，与应用于完整量化器的标准 STE（忽略了形状-增益结构）不同，这些独立的 STE 会为方向诱导出切空间更新，从而形成一种隐式的球面（黎曼）优化。为实现可扩展性，我们开发了一种分布式精确最近邻分配方案，其中各工作节点量化不相交的权重块并仅通信离散索引，将 VQ-QAT 训练时间减少 12.8$\times$，并使我们能够将其扩展到 10B token。在指令微调的 LLaMA-3.2-1B/3B、Qwen3-4B 和基础版 Qwen3-1.7B 上，SQuAT 在相同量化器和初始化条件下始终优于标准 VQ-QAT STE，并达到 SOTA 的 VQ-QAT 准确率。
| 评论： | 25 页，7 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31412 [cs.LG] |
| （或 arXiv:2610.31412v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31412 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ivan Koryakovskiy [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 15:14:44 UTC（276 KB）
来源：arXiv cs.CL · arxiv.org