OnQ:量化模型自生成轨迹恢复推理
热点事件持续更新
OnQ:量化模型自生成轨迹恢复推理
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
研究团队提出低比特量化恢复流程 OnQ,结合同策略蒸馏与候选级 Dynamic KL,让量化学生模型在自己的前缀上接受全精度教师监督。 在 Qwen3-1.7B、4B、8B 的 2-bit 和 3-bit 精度下,OnQ 取得九项基准最高平均分;2-bit 时每个模型规模、每项基准均超越所有基线,Qwen3-8B 平均分较最强基线提升 10.26 分。该方法还生成更短的回答,截断和重复错误更少。
AI 根据报道生成 · 2 小时前更新
最新进展10月22日 12:00
OnQ:用自生成轨迹在量化后恢复推理能力报道时间线
沿着报道,了解事件的不同侧面。
10月22日
- arXiv cs.CLOnQ:用自生成轨迹在量化后恢复推理能力
研究团队提出低比特恢复流程 OnQ,结合同策略蒸馏与候选级 Dynamic KL,让量化学生模型在自己的前缀上接受全精度教师监督。在 Qwen3-1.7B、4B、8B 的 2-bit 和 3-bit 精度下,OnQ 取得九项基准最高平均分,2-bit 时每个模型规模、每项基准均超越所有基线,Qwen3-8B 平均分较最强基线提升 10.26 分。该方法还生成更短的回答,截断和重复错误更少。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。