FuTransformer：Hopper 上 FP8 prefill 与 INT4 decode 推理实现
热点事件持续更新
FuTransformer：Hopper 上 FP8 prefill 与 INT4 decode 推理实现
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Wei Wang 提交论文，介绍 FuTransformer——一个面向 NVIDIA Hopper GPU 的 Llama 式 Transformer 块 CUDA 实现。该实现按推理阶段采用不同精度：prefill 阶段使用 FP8，decode 阶段对投影权重使用 INT4，并维护一份 INT4 KV-cache 副本。 报道未给出与基线相比的加速比、精度损失或适用模型规模等实测结果，上述精度方案的实际效果尚待验证。
AI 根据报道生成 · 56 分钟前更新
最新进展10月19日 12:00
FuTransformer：在 Hopper 上用 FP8 prefill 与 INT4 decode 加速 Llama 式推理报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.AIFuTransformer：在 Hopper 上用 FP8 prefill 与 INT4 decode 加速 Llama 式推理
FuTransformer 是面向 NVIDIA Hopper GPU 的 Llama 式 Transformer 块 CUDA 实现，prefill 用 FP8、decode 用 INT4 投影权重与 INT4 KV-cache 副本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。