arXiv cs.AI· Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri·· 10 小时前AI 评分31
小模型推理预算怎么花：权重精度还是选项顺序平均？Qwen3-0.6B/1.7B 上的量化与顺序平均对比研究
Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models
AI 导读
在 Qwen3-0.6B 和 Qwen3-1.7B 上模拟 8/6/4/3 位权重量化后发现，6 位量化相对 fp16 不损失精度，4 位时答案槽位偏斜从 0.15 升至 0.53（0.6B）。
正文 · AI 翻译
摘要：本地语言模型可以通过用更少的比特存储权重来节省内存，并且可以通过对若干种重排序取平均来降低对答案选项顺序的敏感性。我们考察前者是否会让后者变差，以及在固定预算下哪种方式更划算。在 Qwen3-0.6B 和 Qwen3-1.7B 上，采用模拟的最近邻舍入权重量化（8、6、4 和 3 比特，fp16 为参考），从 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag（各 300 题）上字母 A 到 D 的 logits 读取结果：6 比特相对 fp16 没有精度损失（得分分别高出 +1.8（+1.0 至 +2.5）和 +0.9（+0.3 至 +1.5）分，我们未对此作出解释），8 比特则分别变化 -0.7（-1.1 至 -0.3）和 -0.4（-0.7 至 -0.2）分。在 4 比特下，答案槽偏斜从 0.15 升至 0.53（0.6B），从 0.07 升至 0.12（1.7B）；在相同权重信噪比下的高斯噪声给出 0.15 和 0.37（两次抽样）以及 0.19（一次抽样），因此该对照无法确定舍入是否在等功率噪声之外额外增加了槽偏斜。翻转率上升，但仍低于精度匹配的独立均匀误差基线。对四种循环顺序取平均在 4 比特下为 0.6B 恢复 +12.6 分（fp16 下为 +5.3）。我们用一个与机器无关的单位为比特和遍数定价：读取的权重字节数乘以遍数。在成本匹配的配对中，仅当权重为 6 比特或更多时，额外顺序才优于额外比特，决策表可简化为：使用 6 比特权重，并将剩余预算用于最多四种顺序，每种一遍。所有内容均在两个小模型上用最简单的量化器进行模拟；标题级检索未发现更早的关于量化与选项顺序结合的研究。
| 评论： | 25 页，15 幅图，9 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14413 [cs.AI] |
| （或 arXiv:2611.14413v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14413 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Logesh L [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 17:53:44 UTC（1,744 KB）
来源：arXiv cs.AI · arxiv.org