BitDecoding-FP4 实现原生 FP4 KV 缓存解码
热点事件持续更新
BitDecoding-FP4 实现原生 FP4 KV 缓存解码
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Dayou Du 等作者提交论文,提出 BitDecoding-FP4,通过算法与系统协同设计实现原生 FP4 KV 缓存解码。作者称,在 NVFP4 格式下,该方法与 BF16 KV 的精度差距控制在 0.5 分以内;在 MXFP4 格式下,这一差距为 1 分。 该结果由论文作者提出,属于其自报的精度对比,尚未见独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
BitDecoding-FP4:通过算法与系统协同设计实现原生 FP4 KV Cache 解码报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- arXiv cs.CLBitDecoding-FP4:通过算法与系统协同设计实现原生 FP4 KV Cache 解码
BitDecoding-FP4 通过算法与系统协同设计实现原生 FP4 KV Cache 解码,在 NVFP4 下与 BF16 KV 精度差距控制在 0.5 分以内(MXFP4 为 1 分)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。