arXiv cs.CL· Yufei Xue, Yushi Huang, Jiawei Shao, Pingcheng Dong, Yonghao Tan, Shiyao Li, Kwang-Ting Cheng, Jun Zhang·· 11 小时前AI 评分29
ProQuant：面向边缘 MLLM 的渐进式量化感知训练
ProQuant: Progressive Quantization-aware Training for Edge MLLMs
AI 导读
ProQuant 是面向低比特多模态大模型（MLLM）的权重-激活量化感知训练（QAT）框架，通过自重新标注（SRL）方案对齐微调数据与预训练数据分布，并以渐进式块激活（PBA）机制优先恢复多模态理解能力。
正文 · AI 翻译
摘要：具备出色感知与理解能力的多模态大语言模型（MLLMs）将支撑一系列下游应用。然而，其庞大的计算与内存需求阻碍了实际部署，尤其是在资源受限的边缘设备上。量化已成为部署大模型的有效方案。虽然训练后量化（PTQ）在中等位宽（如 W8A8）下能成功保持性能，但在低位量化（如 W4A8）下性能严重下降，对于更适合边缘部署的小规模模型尤为如此。本文提出 ProQuant，一种专为低位 MLLMs 设计的新型权重-激活量化感知训练（QAT）框架。首先，为使有限的微调数据集分布与预训练数据集分布对齐，我们提出自重新标注（SRL）方案，对开源多模态数据集的回复进行重采样。其次，我们首次从解耦视角审视多模态（MM）理解与语言建模能力。我们提出渐进式块激活（PBA）机制，以优先恢复 MM 理解能力。我们还引入视觉敏感因子 $\vec{\tau}$，可有效识别 MM 关键层。在覆盖 2B-8B 参数模型的各类基准上的大量实验表明，ProQuant 显著优于现有方法。例如，我们的 W4A8 Qwen3-VL-2B-Instruct 平均准确率惊人地提升了 6.6%，仅约 1% 的性能下降，便达到与全精度对应模型相当的性能。代码见 此 https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08216 [cs.CV] |
| （或 arXiv:2611.08216v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08216 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yufei Xue [查看邮箱]
[v1]
2026年11月5日 星期四 16:04:31 UTC（3,251 KB）
来源：arXiv cs.CL · arxiv.org