跳到正文
arXiv cs.CL· Hyojung Han·· 9 小时前AI 评分31

超越位宽:NVIDIA Blackwell 上面向多语言 LLM 推理的部署约束混合精度量化

Beyond Bitwidth: Deployment-Constrained Mixed-Precision Quantization for Multilingual LLM Inference on NVIDIA Blackwell

AI 导读

研究在 NVIDIA B200 上用 vLLM 对 Qwen3-8B 做低比特量化,验证 144 个融合线性模块的原生打包执行,并测试 INT2/INT3、GPTQ、NVFP4 与混合精度配置。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:低比特 LLM 量化只有在模型保持服务相关精度、通过受支持的 GPU 内核执行,并满足实测内存与延迟限制时才有用。我们在 NVIDIA B200 上使用 vLLM 研究 Qwen3-8B,涵盖 INT2/INT3、GPTQ、NVFP4 和混合精度配置。我们在全部 144 个融合线性模块上验证了原生打包执行与精度,并在预注册门槛下评估韩语、英语、数值和推理质量。打包 INT2 和 INT3 可以执行,但所有七个测试的 INT2 网格在生成上均退化。孤立模块恢复效应强烈非可加;韩语和推理敏感度排序不一致,一个有前景的 INT4/INT8 开发候选在独立最终评估中失败。一个配置包含 16 位激活、98 个 NVFP4 仅权重模块、46 个 INT8 模块和一个 INT8 输出头,在未触碰的 FINAL-81 集(5,168 项)上通过所有门槛:权重加载内存 5.917 GiB(限制 5.98),韩语教师正确保留率 0.904(门槛 0.90),TPOT 比率为 BF16 的 0.939。相比 NVFP4 W4A4,配对准确率提升 +1.4 个百分点(Bonferroni 校正区间 [+0.2, +2.6]),而在选择集上为 +3.4 个百分点。该比较同时改变了激活精度和 INT8 保护;探索性分析表明激活变化贡献显著,但孤立分配效应尚未确立。最终检查点未保留,按位重建可复现性仍未验证。
评论: 18 页,2 幅图
主题: 信息检索 (cs.IR);计算与语言 (cs.CL);机器学习 (cs.LG)
引用为: arXiv:2611.21974 [cs.IR]
  (或 arXiv:2611.21974v1 [cs.IR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21974

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hyo Jung Han [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 22:58:32 UTC(90 KB)

来源:arXiv cs.CL · arxiv.org