arXiv cs.AI· Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Huaqing Zheng, Xindian Ma, Peng Zhang·· 10 小时前AI 评分38
SharQ:打通激活稀疏与 FP4 量化,加速 LLM 推理
SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference
AI 导读
SharQ 是一种免训练的 LLM 推理方法,通过在线稀疏—稠密分解把激活稀疏性与 FP4 量化结合,无需校准数据、重训练或模型特定调优。在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 上,它挽回了 NVFP4 与 FP16 之间 43–63% 的精度差距,并兼容 NVFP4、HiF4、MXFP4 格式。
正文 · AI 翻译
摘要:现代加速器日益支持低比特浮点格式和半结构化稀疏,但将二者结合用于 LLM 激活压缩仍具挑战性:激活中包含依赖输入的离群值,这些离群值在 FP4 量化中主导块缩放因子,而直接应用 N:M 稀疏掩码会丢弃中等数值,使稀疏化损失与量化误差耦合。我们提出 SharQ,一种无需训练的推理方法,通过在线稀疏—稠密分解在激活稀疏性与 FP4 量化之间架起桥梁。对于每个激活张量,SharQ 生成输入自适应的 N:M 掩码以提取由离群值主导的稀疏主干,将其量化为 FP4,并相对于量化后的稀疏主干而非未量化的稀疏值定义稠密残差。稀疏 FP4 GEMM 处理主干,稠密 FP4 GEMM 补偿掩码导致的激活损失和稀疏路径量化误差。两条路径共享单一 FP4 权重载荷,并具有路径特定的缩放视图,融合准备内核将掩码生成、残差构建和层归一化吸收为一个算子。SharQ 无需校准数据、重新训练或模型特定调优。在 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B 和 Qwen3-VL-8B 上评估,SharQ 在语言和视觉语言任务中弥补了 NVFP4 到 FP16 精度差距的 43--63%,并泛化到 NVFP4、HiF4 和 MXFP4 格式。在 RTX 5090 上,SharQ 在语言模型服务中相比 FP16 实现 2.2--2.4$\times$ 的延迟降低,相比 FP8 实现 1.2--1.4$\times$ 的吞吐提升,与 SageAttention 结合时在 Wan2.2-T2V-A14B 视频生成上最高实现 1.58$\times$ 加速。我们的代码可在 此 https URL 获取。
| 评论: | 14 页,4 幅图 |
| 主题: | 机器学习 (cs.LG);人工智能 (cs.AI) |
| 引用为: | arXiv:2606.26587 [cs.LG] |
| (或 arXiv:2606.26587v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2606.26587 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Haoqian Meng [查看邮箱]
[v1]
2026 年 6 月 25 日星期四 04:19:04 UTC(1,067 KB)
[v2]
2026 年 11 月 18 日星期三 08:51:32 UTC(798 KB)
来源:arXiv cs.AI · arxiv.org