arXiv cs.CL· Boyuan Zheng, Jing Xiong, Chenwei Wu, Hui Shen, Zesen Zhao, Hei Ting Una Chan, Xueshen Liu, Zhen Zhang, Liyue Shen, Zechun Liu, Z. Morley Mao·· 12 小时前AI 评分34
OnQ：用自生成轨迹在量化后恢复推理能力
Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories
AI 导读
研究团队提出低比特恢复流程 OnQ，结合同策略蒸馏与候选级 Dynamic KL，让量化学生模型在自己的前缀上接受全精度教师监督。在 Qwen3-1.7B、4B、8B 的 2-bit 和 3-bit 精度下，OnQ 取得九项基准最高平均分，2-bit 时每个模型规模、每项基准均超越所有基线，Qwen3-8B 平均分较最强基线提升 10.26 分。该方法还生成更短的回答，截断和重复错误更少。
正文 · AI 翻译
作者：Boyuan Zheng、Jing Xiong、Chenwei Wu、Hui Shen、Zesen Zhao、Hei Ting Una Chan、Xueshen Liu、Zhen Zhang、Liyue Shen、Zechun Liu、Z. Morley Mao
摘要：量化感知训练（QAT）旨在恢复低比特大语言模型（LLM）的推理能力。现有方案通常以原始全精度模型在固定响应序列上监督量化学生模型。然而，由此得到的低比特量化模型在长程推理任务上仍表现不佳，且常常无法在全精度模型足以完成的 token 预算内终止。我们指出了缩小这一差距所面临的两项挑战。第一，固定响应监督使训练前缀与学生生成时遇到的前缀之间存在不匹配，且这种轨迹偏差会随响应变长而增大。第二，在学生模型自身的前缀上，它会对某些下一 token 候选预测不足，而对另一些预测过度，这种分布错位在高熵前缀处更为频繁。我们提出 OnQ，一种低比特恢复流程，结合了同策略蒸馏与逐候选动态 KL。从分块校准出发，量化学生模型生成响应，并在自身前缀上接受全精度教师的监督。动态 KL 根据每个候选的教师-学生概率比来加权前向与反向 KL，以平衡对预测不足和预测过度的纠正。在 Qwen3-1.7B、4B 和 8B 的 2 比特与 3 比特精度下，OnQ 取得了最高的九项基准平均成绩，在长程推理基准上提升最大。在 2 比特下，它在每种模型规模的每项基准上都优于所有基线，将 Qwen3-8B 的平均成绩较最强基线提升 10.26 分。它还能产生更短的响应，截断和重复错误更少。
| 评论： | 19 页，6 幅图，9 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29378 [cs.CL] |
| （或 arXiv:2610.29378v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29378 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Boyuan Zheng [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 08:03:24 UTC（177 KB）
来源：arXiv cs.CL · arxiv.org