arXiv·· 12 天前AI 评分22
OSFP4：面向 NVFP4 量化的对角平滑与块缩放联合优化
OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization
AI 导读
研究提出 NVFP4 量化方案 OSFP4，针对每个线性投影使用对角平滑矩阵，其元素在 NVFP4 下以最小化矩阵乘积量化误差为目标进行优化，并考虑 round-to-nearest 或 GPTQ 式逐次干扰消除等舍入过程。该方法将平滑与块缩放联合优化，以在保持 LLM 推理精度的同时利用 NVFP4 的紧凑存储与原生张量核心加速。
来源：arXiv · arxiv.org