arXiv cs.AI· Mohammed Nayeem Khan, Allan Kevin T·· 1 天前AI 评分31
同一模型两种精度：量化副本间的分歧能否指示小模型答错？
One Model, Two Precisions: Does Disagreement Between Quantized Copies Tell You When a Small Model Is Wrong?
AI 导读
研究在 Qwen3-0.6B 与 Qwen3-1.7B 上模拟 3 至 6 bit 分组量化，用 8-bit 与低精度副本的分歧作为逐题错误分数，评测 8,398 道 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag 选择题。
正文 · AI 翻译
摘要：本地语言模型通常以多种精度存在，而量化已知会改变单个答案。本研究探讨同一权重的两种精度之间的分歧——一个负责作答的 8 位副本和一个读取相同提示的低精度副本——能否作为逐题错误分数，用于弃答、升级和重新提问。代价是额外一次前向传播，且字节数更少，无需采样也无需训练。我们在 Qwen3-0.6B 和 Qwen3-1.7B 上模拟带逐组缩放因子的最近舍入量化（3 至 6 位，组大小为 32 至 256），并对来自 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag 子集的 8,398 道多项选择题进行评分。错误检测通过 AUROC、风险-覆盖率曲线和留出半集上的 ECE 来衡量，并采用基于问题的配对自助法区间。对于 Qwen3-0.6B，8 位答案的熵达到 AUROC 0.682；在开发半集上选出的最佳分歧分数达到 0.684（+0.001 [-0.009, +0.011]），将其与置信度特征结合可增加 +0.009 [+0.002, +0.015]，主要体现在 ARC 上。在 Qwen3-1.7B 上，所选分数相对熵为 -0.001 [-0.009, +0.006]，组合分数在测试半集上为 +0.003 [-0.001, +0.006]。在匹配误差能量下的高斯权重噪声与舍入所提供的信息量大致相当（仅 0.6B），因此我们没有发现该信号为量化所特有的证据，而在任务和熵单元内打乱特征会消除增益。额外一次改变选项顺序的 8 位前向传播表现更好（相对熵 +0.049 [+0.031, +0.067]），但权重流量约增加三分之一；在总流量相等的情况下，基于免费熵路由到更大模型优于两种额外前向传播分数。经过逻辑重校准后，0.6B 的置信度在 ECE 的几个百分点内得到校准。文中给出了部署方案以及该方法无帮助的情形。
| 学科： | 人工智能 (cs.AI) |
| 引用为： | arXiv:2611.16478 [cs.AI] |
| （或 arXiv:2611.16478v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16478 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Allan Kevin T [查看电子邮件]
[v1]
2026 年 11 月 12 日星期四 08:47:29 UTC（1,568 KB）
来源：arXiv cs.AI · arxiv.org