arXiv cs.CL· Miguel P. Bento, Jo\~ao F. Seabra·· 11 小时前AI 评分26
GaugeQuant：从 LLM 对称性中在线学习量化最优基
GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries
AI 导读
GaugeQuant 通过在训练损失中加入 LogSumExp 项打破 Transformer 内部连续对称性，在线选出使激活离群值最小的旋转基，且不改变语言建模目标。该方法无需特定校准数据和量化模拟，仅增加少量推理开销；在 Qwen-2.5 0.5B 上 W4A16 困惑度从 25.62 降至 16.76 并提升零样本准确率，在 LLaMA-2 7B 上困惑度改善但下游准确率未提升。代码已开源。
正文 · AI 翻译
摘要：众所周知，Transformer 具有内部连续对称性，这些对称性在保持输出不变的同时，会改变激活值在各坐标上的分布，进而影响其量化效果。GaugeQuant 在训练过程中利用这一点，通过在损失中引入 LogSumExp 项来打破对称性，从而选择一个能最小化激活离群值的基。停止梯度算子确保只更新旋转矩阵，使语言建模目标完全不受影响。我们的量化策略无需特定校准数据，无需量化模拟，且仅增加少量推理开销。作为概念验证，我们在 WikiText-2 困惑度和零样本推理上进行了评估。在 Qwen-2.5 0.5B 上，GaugeQuant 降低了困惑度（例如在 W4A16 下从 $25.62 \to 16.76$），并提升了零样本准确率。在 LLaMA-2 7B 上，困惑度有所改善，但下游准确率没有提升。代码可在以下地址获取：此 https URL。
| 评论： | 已被 NeurIPS 2026 的神经表示中的对称性与几何研讨会（NeurReps）接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.20757 [cs.LG] |
| （或 arXiv:2607.20757v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.20757 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Miguel Pedra Bento [查看电子邮件]
[v1]
2026年7月22日星期三 22:14:23 UTC（86 KB）
[v2]
2026年7月24日星期五 12:57:08 UTC（86 KB）
[v3]
2026年11月4日星期三 15:58:48 UTC（98 KB）
来源：arXiv cs.CL · arxiv.org