BitDecoding-FP4：通过算法与系统协同设计实现原生 FP4 KV Cache 解码

查看 PDF HTML（实验性）

摘要：键值（KV）缓存在长上下文 LLM 服务中主导着内存容量和带宽。虽然 4 位微缩放格式（NVFP4、MXFP4）能缩小缓存并在 FP4 Tensor Core 上运行注意力，但算法量化与系统感知加速之间仍存在根本性差距：现有的 FP4 KV 系统使用朴素量化，导致精度严重下降；而面向精度的 4 位算法依赖向量码本，其查找开销会降低解码吞吐量。我们提出 BitDecoding-FP4，一种面向精确高效原生 FP4 KV 解码的算法—系统协同设计。我们缓解了三个误差来源：双残差查询量化将查询拆分为两个 FP4 张量，将查询 logit 误差从 60% 降至 1%；下溢感知概率缩放防止 E4M3 缩放因子将长上下文概率舍入为零；离群值感知键量化结合静态平滑、Hadamard 旋转和缩放搜索，在逐 token 缩放下抑制键离群值。在系统层面，我们通过转置 softmax 配合融合概率量化和分页 KV 缓存上的堆叠查询 MMA，消除了 softmax 瓶颈。在采用 GQA 和 MLA 的稠密模型与 MoE 模型上，BitDecoding-FP4 使用 NVFP4 时与 BF16 KV 精度相差不超过 0.5 个点（使用 MXFP4 时为 1 个点），并在 RL 训练 rollout 中与 BF16 KV 保持一致。在 NVIDIA B300 上使用 Qwen3-4B 和 Qwen3-30B-A3B 进行端到端服务时，其峰值服务吞吐量比 BF16 KV 高 2.4-3.0$\times$。实现代码可在此 https URL 获取。

主题：	人工智能（cs.AI）；硬件架构（cs.AR）；计算与语言（cs.CL）；性能（cs.PF）
引用为：	arXiv:2611.09825 [cs.AI]
	（或 arXiv:2611.09825v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.09825 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：DaYou Du [查看邮箱]
[v1] 2026 年 11 月 6 日星期五 18:13:54 UTC（364 KB）