跳到正文
arXiv cs.AI· Xingyang Li, Tianlang Zhao, Song Han, Ligeng Zhu·· 10 小时前AI 评分34

QDA:用智能体实现闭环 LLM 量化设计

QDA: Closed-Loop LLM Quantization Design with Agents

AI 导读

QDA 是一个由智能体为每个模型和精度自动设计量化配方的系统,在四个推理模型上,W4A16、W4A8、W3A16 平均准确率分别比最强公开配方提升 0.9、1.4、2.2 个百分点,每次搜索用 64 GPU-hours。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:训练后量化是在低成本下服务大语言模型的标准方式。然而,最佳的量化方案因模型和精度而异。因此,专家必须为每个新模型重新设计该方案,这既耗时又往往次优。幸运的是,LLM 智能体可以通过多轮构建和评估候选方案来迭代优化方案,从而接管这一设计工作,轮次越多方案越好。然而,评估一个量化推理模型需要数十个 GPU 小时,而整合来自不同代码库的方法意味着需要手动将每种方法移植到新架构上。我们提出 QDA,一个由智能体为每个模型和精度设计方案的系统。为加快评估,QDA 在智能体从未见过的推理轨迹上,以候选模型相对原始模型的输出 KL 散度在几分钟内为其打分,并对有希望的候选方案进行长文本生成检查,以捕捉重复循环等失败情况。为加快构建,QDA 提供了一个公共 PTQ 方法库,这些方法彼此兼容,也与新模型架构兼容。在四个推理模型上,QDA 在 W4A16、W4A8 和 W3A16 下分别比最强的公开方案平均提升 0.9、1.4 和 2.2 个百分点,每次搜索使用 64 GPU 小时。在 320B 参数的 MoE 模型 GLM-5.3-Flash 上,于 NVFP4 W4A4 下,它恢复了 FP8 模型 98.3% 的准确率,而最佳厂商检查点为 96.9%。每个 QDA 检查点还可在现有服务内核上运行,无推理开销。我们将发布该库、评估器和测试框架。
评论: 19 页,7 幅图,10 张表
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.23388 [cs.LG]
  (或 arXiv:2611.23388v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23388

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xingyang Li XY Li [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 19:00:09 UTC(939 KB)

来源:arXiv cs.AI · arxiv.org