arXiv cs.AI· Yanshuo Chen, Chenxi Liu, Reza Shirkavand, Heng Huang·· 11 小时前AI 评分26
MPQ：用消息传递重构训练后量化，Llama、Qwen、Mistral 上优于硬判决基线
MPQ: A Message-Passing View of Post-Training Quantization
AI 导读
研究者提出 Message-Passing Quantization（MPQ），将逐行训练后量化（PTQ）建模为离散码本上的后验推断，在推理过程中保留块间软后验信息，仅在输出阶段确定硬码字。
正文 · AI 翻译
摘要：训练后量化（PTQ）是高效部署大语言模型的关键技术，它无需重新训练即可将权重压缩为低比特表示。现有的 PTQ 求解器，包括 GPTQ、LDLQ 和块坐标下降，在考虑相邻块之前就将每个权重块确定为单个码字，从而未探索接近最优的替代方案。在本工作中，我们将逐行 PTQ 建模为离散码本上的后验推断，其中现有求解器对应于零温度的硬判决极限，即每个块仅保留最优码字。我们提出消息传递量化（MPQ），它在推断过程中跨块保留软后验信息，仅在输出阶段才确定为硬码字。MPQ 首先使用向量近似消息传递计算近似的逐块后验，然后通过精确的块坐标下降对硬判决初始化进行细化。在 Llama、Qwen 和 Mistral 系列稠密语言模型上的 2 比特格量化以及 3 比特和 4 比特标量量化中，MPQ 在困惑度和零样本准确率上均优于强硬判决基线，并且能与激活感知缩放和不相关处理等预处理技术良好结合。我们的实现可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32127 [cs.AI] |
| （或 arXiv:2610.32127v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32127 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanshuo Chen [查看邮箱]
[v1]
2026年10月23日星期五 03:54:41 UTC（316 KB）
来源：arXiv cs.AI · arxiv.org