arXiv cs.AI· Mohammed Nayeem Khan, Logesh L, Aliyas Ahmad Misri·· 10 小时前AI 评分24
Qwen3-0.6B 按需精度：不确定解码步升级权重位宽
Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
AI 导读
研究在 Qwen3-0.6B 上以 8-bit 存储权重、默认用高 4 位解码，仅在低精度输出分布不确定时按 8-bit 重算该步，成本按每 token 读取的权重字节计。
正文 · AI 翻译
摘要：局部解码通常为整个生成过程固定一个权重精度。我们研究一种不同的分配方式：存储 8 位权重，用其高 4 位进行解码，仅当低精度输出分布看起来不确定时（熵高于阈值或前两名差距很小），才以 8 位重做一步。量化是模拟的，模型是 Qwen3-0.6B，基准是 GSM8K。成本按每 token 读取的权重字节数计算。在 36724 个重放步骤上，低精度通道的熵对 argmax 翻转的排序 AUC 为 0.93。在 15% 的升级预算下，它捕获了 78% 的翻转，而 margin 门控捕获了 94%，相比之下，同等速率的随机门控的预期为 15%（这是计算出的期望值，并非实际运行结果）。在 150 个实时问题中，全高精度得分为 64.0%，全低精度为 55.3%（McNemar p=0.053）。升级率为 16% 的熵门控在 0.87 的全高精度权重字节下得分为 62.7%。其配对差异为 -1.3（-8.0 至 +5.3）分（相对于全高精度）和 +7.3（+0.0 至 +14.7）分（相对于全低精度）（p=0.080），因此实时数据无法将门控与任一端区分开。在同一成本模型下，经过验证的推测在相似字节数下达到零 KL。实时随机对照、思考模式阶段规则、第二个模型和实时 KL 均未运行。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14418 [cs.AI] |
| （或 arXiv:2611.14418v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14418 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Logesh L [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 17:57:51 UTC（901 KB）
来源：arXiv cs.AI · arxiv.org