arXiv cs.AI· Neriah Ben David, Ori Meir, Or Ordentlich·· 10 天前AI 评分24
OSFP4：面向 NVFP4 量化的对角平滑与块缩放联合优化
OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization
AI 导读
研究者提出 NVFP4 量化方案 OSFP4，对每个线性投影使用对角平滑矩阵，在 NVFP4 下联合优化平滑项与块缩放以最小化矩阵乘量化误差，并兼容 round-to-nearest 与 GPTQ 式逐次干扰消除。实验中 OSFP4 在对应量化设置下取得所评估方案中最高的平均精度，同时保留约 94-97% 的厂商 NVFP4 prefill 吞吐，代码已开源。
正文 · AI 翻译
摘要：NVFP4 是一种对大型语言模型（LLM）推理颇具吸引力的数据类型，具有紧凑的存储和原生张量核心加速。然而，使用 NVFP4 保持精度需要谨慎的量化。在这项工作中，我们开发了一种新颖的量化方案，称为面向 NVFP4 的优化平滑与缩放（OSFP4）。对于每个线性投影，它使用一个对角平滑矩阵，其条目经过优化以最小化 NVFP4 下的矩阵乘积量化误差的平方，同时考虑所使用的舍入过程（最近舍入或 GPTQ 风格的连续干扰消除）。这需要对平滑条目以及块缩放进行联合优化，而通过分析乘法抖动 FP4 量化器而非固定的确定性量化器，可以促进这一优化。实验表明，在相应的量化设置中，OSFP4 在所评估的竞争者中实现了最高的平均准确率，同时在所测量的工作负载上保留了约 94-97\% 的供应商 NVFP4 预填充吞吐量。我们的代码可在 此 https URL 获取
| 主题： | 人工智能（cs.AI）；信息论（cs.IT） |
| 引用为： | arXiv:2610.08231 [cs.AI] |
| （或 arXiv:2610.08231v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08231 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Or Ordentlich [查看电子邮件]
[v1]
2026年10月6日星期二 12:17:52 UTC（656 KB）
来源：arXiv cs.AI · arxiv.org