arXiv cs.AI· Rhea Sanjay Sukthanker, Pashmina Cameron·· 14 小时前AI 评分47
ThinkBit：用搜索码字、重校准缩放与推理选择实现二比特量化推理模型
ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
AI 导读
ThinkBit 是一个严格标量的二比特量化框架，每个权重由整数码字乘以一组权重共享的 bfloat16 缩放因子表示。在 Qwen3-1.7B 上，其重校准检查点在 MATH-500 得分 46.7，高于同数据训练的 EfficientQAT 的 30.0，经 QAT 后升至 73.0，模型体积 0.52 GB，小于该模型所有已发布的二比特 GGUF。
正文 · AI 翻译
摘要：推理语言模型每次回答会生成数千个 token，而生成速度受内存带宽限制，因此用两位而非 bfloat16 存储权重，有可能使推理成本降低 8$\times$。两位方法通常以困惑度和多项选择问答准确率来评判，而这两者都难以说明模型是否仍能对更困难的问题进行推理。我们提出 ThinkBit，一个严格标量的两位框架，旨在保持推理能力，其中每个权重都是一个整数码字乘以一组权重共享的 bfloat16 缩放因子。我们首先使用敏感度指标为每一层分配三值、2 位或 3 位层级，从而在各层之间最优地分配位宽。随后采用基于 Gumbel-softmax 的逐层标量量化算法，逐块搜索最优码字。由于逐层方案无法捕捉量化层之间的相互作用，我们在冻结码字的情况下，使用基于知识蒸馏的损失对教师模型重新校准缩放因子。然后我们进行一个简短的量化感知训练（QAT）阶段，通过重新分配码字让模型模仿基础模型的分布。最后，在训练问题上进行配对推理测试，在重新校准阶段和 QAT 阶段之间选择最终检查点。在规模匹配的 Qwen3-1.7B 上，我们重新校准后的检查点在 MATH-500 上得分为 46.7，而在相同数据上训练的 EfficientQAT 为 30.0；在推理轨迹上经过 QAT 后为 73.0；其大小为 0.52 GB，比该模型所有已发布的 2 位 GGUF 都小，但在 MATH-500 上更准确。我们表明该框架可扩展至 14B，一个 3.74 GB 的模型在 MATH-500 上得分为 94.8，而 29.5 GB 的 bfloat16 模型为 97.5。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34886 [cs.AI] |
| （或 arXiv:2610.34886v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.34886 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rhea Sanjay Sukthanker [查看邮箱]
[v1]
2026年10月26日星期一 05:56:35 UTC（486 KB）
来源：arXiv cs.AI · arxiv.org