跳到正文
热点事件持续更新

BitDecoding-FP4 实现原生 FP4 KV 缓存解码

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Dayou Du 等作者提交论文,提出 BitDecoding-FP4,通过算法与系统协同设计实现原生 FP4 KV 缓存解码。作者称,在 NVFP4 格式下,该方法与 BF16 KV 的精度差距控制在 0.5 分以内;在 MXFP4 格式下,这一差距为 1 分。 该结果由论文作者提出,属于其自报的精度对比,尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. arXiv cs.CL
    BitDecoding-FP4:通过算法与系统协同设计实现原生 FP4 KV Cache 解码

    BitDecoding-FP4 通过算法与系统协同设计实现原生 FP4 KV Cache 解码,在 NVFP4 下与 BF16 KV 精度差距控制在 0.5 分以内(MXFP4 为 1 分)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。