UCSD Hao AI Lab 发布 JetSpec++ 投机解码方法

UCSD Hao AI Lab 推出投机解码方法 JetSpec++，通过因果并行草稿、隐状态预测器和锚点 token 解码器，在当前块验证前先草拟下一块，将草稿与验证流水线化。 该实验室称，在 BF16 精度下，JetSpec++ 在 Qwen3-8B 上达到 1361 TPS、在 Qwen3.8-27B 上达到 367 TPS，端到端较 DSpark 最高提速 1.54 倍、较自回归解码最高提速 7.45 倍，且保持无损。 该实验室还称，结合 NVFP4 与内核优化、在两块 GB200 GPU 上，JetSpec++ 在 Qwen3-8B 上超过 4000 TPS、在 Qwen3.8-27B 上超过 900 TPS。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。