RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 3 小时前AI 评分38
EAGLE-4 投机解码实测：27B 模型单请求达 863.8 tokens/s
EAGLE-4 投机解码提速实测
AI 导读
EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s，为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环，改进集中在草稿侧：自适应草稿结构和更廉价的草稿 LM head，由小模型预猜多个 token、目标模型一次前向校验，输出结果不变，测试环境约快 3 倍。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-10-21 08:47· 1 小时前AI 评分43
AI 导读
EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s，为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环，改进集中在草稿侧：自适应草稿结构和更廉价的草稿 LM head，由小模型预猜多个 token、目标模型一次前向校验，输出结果不变，测试环境约快 3 倍。
正文 · 原文
目前一些最有用的推理工作正发生在投机解码组件中。
它已成为从已选定的模型中获取更多每秒 token 数的最可靠方式之一。
EAGLE-4 在 27B 模型单请求下解码达到 863.8 tokens/s，是 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。
EAGLE-4 是运行 AI 聊天机器人的加速附加组件：一个微型辅助模型猜测接下来的几个词，大模型一次性校验所有这些猜测，而不是逐词生成。输出结果完全相同，在测试环境中约快 3 倍。
EAGLE-4 保留“草稿—验证”循环，并将工作投入草稿侧，采用自适应草稿结构和更廉价的草稿 LM head。
循环过程：
- 小型草稿模型预先提出多个 token
- 目标模型在一次前向传播中校验所有这些 token
- 匹配的 token 被保留，第一个不匹配的 token 被替换为目标模型自己的 token
- 从该处重复
EAGLE-4 来了。 从 EAGLE-1 到 EAGLE-3，我们一直在让推理更快。 EAGLE-4 是我们迄今最快的。 在 @Alibaba_Qwen 的 Qwen3.8-27B 上，使用 TokenSpeed（BF16，4× @NVIDIA B300，TP4，单请求，T=0）达到 961.6 tokens/s。 Github：https://github.com/eagle-hq/EAGLE-4在 X 查看被引用的帖子
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news