arXiv cs.AI· Zhen Liu, Zhiqin Yang, Yonggang Zhang, Jianyi Liu, Jinjun Wang, Jingwen Fu·· 1 天前AI 评分29
AutoQS：用大语言模型自动设计量化策略
AutoQS: Automated Quantization Strategy Design with Large Language Models
AI 导读
AutoQS 利用 LLM 在有限评估预算内自动搜索逐层与逐算子的 group-size 分配，在固定权重精度下兼顾模型质量与存储成本。在 Qwen2.5-7B-Instruct 上以四位权重量化时，其七任务平均准确率分别比 uniform-group GPTQ 和 AWQ 高 0.70 和 1.12 个百分点。方法结合廉价质量代理评估、候选仓库与周期性实际量化反馈来指导搜索。
正文 · AI 翻译
摘要：量化可降低 LLM 部署成本，但有效的策略必须兼顾模型质量与存储。由 LLM 驱动的搜索可通过反复提出与评估来自动化策略设计。该过程必须在有限的评估预算内找出有用的策略。关键挑战在于\textit{实际量化成本高昂，而廉价的代理指标可能无法反映量化模型的性能。}为应对这一挑战，我们提出 AutoQS，一种由 LLM 驱动的\textbf{自动}\textbf{量}\textbf{化}\textbf{策}\textbf{略}设计方法。AutoQS 固定权重精度，并在部署约束下跨层与算子搜索分组大小分配。评估历史引导 LLM 进行协同提案，确定性验证确保分配兼容。廉价的代理指标评估候选方案，候选库保留备选分配以指导后续提案。周期性实际量化以实测质量和检查点存储补充这些代理评估，在评估预算内为后续搜索提供反馈。在 Qwen2.5-7B-Instruct 上的实验表明，在四位权重精度下，AutoQS 相比均匀分组 GPTQ 和 AWQ 的七任务平均准确率分别提升 0.70 和 1.12 个百分点。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.11975 [cs.AI] |
| （或本版本的 arXiv:2611.11975v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.11975 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhen Liu [查看邮箱]
[v1]
2026年11月9日星期一 06:59:18 UTC（185 KB）
[v2]
2026年11月11日星期三 05:23:20 UTC（185 KB）
来源：arXiv cs.AI · arxiv.org