arXiv cs.CL· Wenjun Wang, Heng Li, Yanggan Gu, Hongxia Yang·· 10 天前AI 评分24
OnlineQAT：面向超低比特大语言模型的在线策略蒸馏
OnlineQAT: On-Policy Distillation for Ultra-Low-Bit Large Language Models
AI 导读
OnlineQAT 是一个两阶段框架，先通过分块 QAT 获得可用的低比特初始化，再对学生模型自生成回答做在线策略蒸馏（OPD），由冻结的全精度教师模型在每个访问前缀上提供采样的反向 KL 训练信号。在 Qwen3-1.7B 上，该方法在 W3A16 取得 57.28、W2A16 取得 32.52，平均成绩优于所对比的量化方法，分别比 ReasoningQAT 高出 2.90 和 0.44 分。
正文 · AI 翻译
摘要：量化感知训练（QAT）可以恢复大语言模型压缩至四位以下时损失的大部分精度。然而，现有的恢复阶段通常是在固定补全或教师生成的答案上进行优化，而部署的量化模型则以自身生成的前缀为条件。因此，量化误差可能将模型推入离线恢复数据中不存在的状态。我们提出 OnlineQAT，一个两阶段框架，首先通过分块 QAT 获得可用的低比特初始化，然后在学生生成的回复上进行同策略蒸馏（OPD）。在每个访问到的前缀处，一个冻结的全精度教师提供采样的反向 KL 训练信号。在 Qwen3-1.7B 上，OnlineQAT 在所比较的量化方法中取得了最佳平均值：W3A16 下为 57.28，W2A16 下为 32.52，分别比 ReasoningQAT 提升了 2.90 和 0.44 分。结果表明，学生访问过的状态提供了超越固定补全训练的有用恢复信号，尤其是在三比特下。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.09346 [cs.CL] |
| （或 arXiv:2610.09346v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09346 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Wenjun Wang [查看邮箱]
[v1]
2026年10月7日星期三 03:05:42 UTC（66 KB）
来源：arXiv cs.CL · arxiv.org