RadarAI· X：UCSD Hao AI Lab (@haoailab)·· 3 小时前AI 评分38
UCSD Hao AI Lab 推出 JetSpec++，投机解码最高提速 7.45 倍
JetSpec++ 投机解码提速最高 7.45 倍
AI 导读
UCSD Hao AI Lab 推出投机解码方法 JetSpec++，通过因果并行草稿、隐状态预测器和锚点 token 解码器，在当前块验证前先草拟下一块，将草稿与验证流水线化。
正文 · AI 翻译
Hao AI Lab· @haoailab · X·2026-10-31 02:46· 39 分钟前AI 评分42
AI 导读
UCSD Hao AI Lab 推出 JetSpec++，用因果并行草稿、隐状态预测器和锚点 token 解码器，在当前块验证前先草拟下一块，把草稿与验证流水线化，几乎隐藏全部草稿开销。
正文 · 原文
推出 JetSpec++：我们发现，因果并行草稿搭配隐状态预测器和锚点 token 解码器，可以在当前块被验证之前有效地草拟下一个未来块，并把节省出的时间用于自我精炼。
这使得草稿能与验证流水线化，几乎隐藏其全部草稿开销。
JetSpec++ 相比 DSpark 实现最高 1.54 倍的端到端加速，相比自回归解码实现 7.45 倍加速，同时保持无损，在 BF16 下于 Qwen3-8B 上达到 1,361 TPS，于 Qwen3.8-27B 上达到 367 TPS。
借助 NVFP4 和内核优化，JetSpec++ 在两块 GB200 GPU 上进一步于 Qwen3-8B 上突破 4,000 TPS，于 Qwen3.8-27B 上突破 900 TPS。⚡️
项目页面：https://jetspec-project.github.io/jetspecpp-web/
来源：Hao AI Lab · x.com
来源：RadarAI · aihot.news