arXiv cs.AI· Yanlong Zhao, Xiaoyuan Cheng, Huihang Liu, Baihua He, Xinyu Zhang, Harrison Bo Hua Zhu, Wenlong Chen, Li Zeng, Zhuo Sun·· 9 天前AI 评分23
更低重建损失反而更差：DRQ 面向低比特 LLM 量化的分布鲁棒精修
When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization
AI 导读
研究发现，权重仅 PTQ 中最小化重建损失所偏好的权重未必带来更好性能，重建损失更低甚至会在同一校准数据上降低模型表现，原因是输入激活分布变化后这些权重的损失可能更高。
正文 · AI 翻译
摘要：仅权重的训练后量化（PTQ）高度依赖重构损失最小化，以在低精度下保持模型质量。我们表明，通过最小化该损失所偏好的权重未必能在新任务上带来更好的模型性能。事实上，我们发现更低的重构损失甚至可能降低模型在同一校准数据上的性能。我们的分析进一步表明，当输入激活的分布发生变化时，在校准数据上具有更低重构损失的权重，其损失可能高于其他权重。受这些观察和分析的启发，我们提出了分布鲁棒量化（DRQ），一种事后精炼过程，它在受限的输入激活分布集合上最小化最坏情况重构损失。DRQ 在现有量化网格内精炼表示量化权重的整数编码，保持量化参数和推理算子不变。大量实验表明，DRQ 改进了由六种代表性 PTQ 方法（包括 AWQ、GPTQ 和 ParoQuant）量化的模型，并在稠密和专家混合大语言模型上均带来增益。这些结果确立了 DRQ 作为仅权重 PTQ 的通用事后精炼框架，在不增加推理开销的情况下实现更好的下游性能。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.11226 [cs.AI] |
| （或 arXiv:2610.11226v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11226 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuo Sun [查看电子邮件]
[v1]
2026年10月8日星期四 04:22:29 UTC（858 KB）
来源：arXiv cs.AI · arxiv.org