arXiv cs.AI· Johannes Knittel, Alec Helbling, Hanspeter Pfister·· 2 天前AI 评分32
RoleQ：按角色对齐的缩放策略将语言模型转换为三值权重
RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
AI 导读
RoleQ 是一种按 Transformer 单元功能角色而非权重矩阵布局来放置缩放因子的量化框架，无需搜索、校准或存储状态。在 0.6B 到 14B 的多个模型家族中，其三值量化困惑度较基于布局的方案最多降低一半，而按行缩放会让 MMLU 跌至随机水平。
正文 · AI 翻译
摘要：低于四比特的权重量化能在看似可接受的困惑度下缩小内存和带宽，但往往以事实知识和任务准确率为代价。三值权重大多通过从头训练或长时间微调获得。我们提出 RoleQ，一种量化框架，它依据 Transformer 单元的功能角色而非权重矩阵的布局（如传统格式所做的那样）来放置缩放因子。从残差流读取的向量每个输出单元取一个缩放因子；写入残差流的向量每个输入单元取一个缩放因子。该规则是结构性的，无需搜索、校准或存储状态，并适用于整数和三值网格。在旋转基下，它以一半的求解工作量匹配逐层轴搜索；在三值下，与基于布局的放置相比，它在两个系列中从 0.6B 到 14B 的每个规模上都将困惑度最多减半，而逐行缩放因子会使 MMLU 降至随机水平。我们的轻量级训练后流水线在几个 GPU 小时内将现有检查点转换为每权重 1.59 比特，成本仅为学习式三值化的一小部分，并在困惑度、零样本准确率和 MMLU（尤其在知识方面最为广泛）上，以匹配或更低的内存驻留比特数领先所有训练后三值化方法。由逐单元 Fisher 显著性放置的稀疏第二三值平面使矩阵乘法无需乘法，并首先恢复三值所丢失的部分：在 8B 上，不到一比特即可返还约一半转换所损失的 MMLU，在相同比特数下远超随机或基于 Hessian 的放置。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21808 [cs.AI] |
| （或 arXiv:2610.21808v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21808 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Johannes Knittel [查看电子邮件]
[v1]
2026年10月15日星期四 12:56:57 UTC（268 KB）
来源：arXiv cs.AI · arxiv.org