arXiv cs.AI· Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao·· 1 天前AI 评分24
基于 HiFloat4 格式的大模型量化校准方法研究
Calibration of Large Model Quantization based on HiFloat4 Format
AI 导读
研究提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种面向 HiFloat4（HiF4）格式的量化校准方法，将 HiF4 量化模型与 BF16 的精度差距缩小至 1% 以内。
正文 · AI 翻译
作者：Jing Huang、Yu Cheng、Ziwei Yu、Lan Zhao、Sitan Li、Guangxiu Yao、Xin Wang、Yuanyong Luo、Hengyi Liang、Ting Li、Bo Liu、Hu Liu、Michael Bi Mi、Heng Liao
摘要：大语言模型（LLM）的量化对于降低实际部署中的计算成本和资源需求正变得越来越重要 this http URL——从 8 比特量化迈向 4 比特精度的机会，推动了 MXFP4 和 NVFP4 等定制 4 比特格式的发展。最近，HiFloat4（HiF4）作为一种有竞争力的替代方案出现，它采用具有三级缩放层次结构的块浮点（BFP）格式，从而实现了显著更大的动态范围。虽然量化可以大幅减少内存占用并加速推理，但它常常带来精度下降。因此，校准对于缩小低精度量化模型与全精度对应模型之间的性能差距至关重要。然而，现有校准方法主要针对整数精度格式（如 INT4）进行设计和验证，由于 HiF4 的分层 BFP 结构而缺乏对其的支持。本文研究了三种校准方法，即 HiGPTQ、HiAutoRound 和 HiFlatQuant，以进一步增强模型 this http URL 表明，与直接进行 HiF4 转换相比，所提出的三种方法均提高了推理精度，将 HiF4 与 BF16 之间的差距缩小至 1% 以内，并在各种模型和下游任务上优于最先进的 NVFP4 格式。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41112 [cs.AI] |
| （或本版本的 arXiv:2610.41112v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.41112 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziwei Yu [查看邮箱]
[v1]
2026年10月30日星期五 01:10:51 UTC（113 KB）
来源：arXiv cs.AI · arxiv.org