arXiv cs.AI· Pengxiang Zhao, Xing Li, Hui-Ling Zhen, Weizhe Lin, Xianzhi Yu, Zhenhua Dong·· 1 天前AI 评分31
SoScale：面向 FP4 量化的二阶尺度搜索方法
SoScale: Second-Order Scale Search for FP4 Quantization
AI 导读
SoScale 是一种面向分层 FP4 量化的二阶权重尺度码搜索方法，在 Hessian 感知的层重建目标下搜索硬件有效的尺度码，并结合 GPTQ 式误差恢复，按尺度对层输出的影响进行选择。在 Qwen3 系列模型上，SoScale 在 MXFP4、NVFP4 和 HiF4 格式下均持续降低下游任务的量化退化。
正文 · AI 翻译
摘要：低位量化降低了大语言模型（LLM）的内存占用和推理成本，但精确的 FP4 量化仍然具有挑战性。MXFP4、NVFP4 和 HiF4 等实用格式将 4 位浮点有效载荷与块级或分层缩放码配对，使得精度对每个局部分布的缩放方式高度敏感。默认的最大绝对值缩放保留了动态范围，但可能将稀缺的 FP4 级别用于很少被占据的离群区域，导致密集张量值分辨率不佳。现有的缩放搜索方法最小化局部逐元素重建误差，优化的是张量保真度而非层输出保真度。我们提出 SoScale，一种用于分层 FP4 量化的二阶权重缩放码搜索方法。SoScale 在 Hessian 感知的层重建目标下搜索硬件有效的缩放码，并将该搜索与 GPTQ 风格的误差恢复相结合，根据缩放对层输出的影响来选择缩放。在 Qwen3 系列模型上，SoScale 在 MXFP4、NVFP4 和 HiF4 下均能持续减少下游量化退化。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16426 [cs.LG] |
| （或 arXiv:2611.16426v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16426 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengxiang Zhao [查看邮箱]
[v1]
2026年11月12日星期四 07:36:46 UTC（69 KB）
来源：arXiv cs.AI · arxiv.org