Eagle Corp 开源 EAGLE-4 推理加速草稿模型
Eagle Corp 开源 EAGLE-4 草稿模型,可根据批大小、硬件和工作负载自适应调整投机解码策略,同时保持目标模型的输出分布。实测搭配 Qwen3.8-27B 在 4× NVIDIA B300 上达到 961.6 tokens/s。Eagle 是服务 NVIDIA、Meta、Intel、AMD、Perplexity 等公司的 AI 推理平台。
🚨 AI 新闻 | TestingCatalog· @testingcatalog · X·2026-10-21 06:02· 45 分钟前AI 评分40
AI 导读
Eagle Corp 发布开源灵活草稿模型 EAGLE-4,可根据批大小、硬件和工作负载自适应调整投机解码策略,并保持目标模型的输出分布。实测搭配 Qwen3.8-27B 在 4× NVIDIA B300 上达到 961.6 tokens/s。Eagle 是服务 NVIDIA、Meta、Intel、AMD、Perplexity 等公司的 AI 推理平台。
正文 · 原文
Eagle Corp 发布了 EAGLE-4,这是其最新的开源灵活草稿模型,用于加速 LLM 推理。
其核心在于:“一个草稿模型会根据批大小、硬件和工作负载自适应调整其投机解码策略,并保持目标模型的输出分布。”
Qwen3.8-27B 与其 EAGLE-4 草稿模型是实测的目标组合,在 4× NVIDIA B300 上运行时达到 961.6 tokens/s。
Eagle 是一个 AI 推理平台,为 NVIDIA、Meta、Intel、AMD 和 Perplexity 等领先公司提供支持。
推理测试时间 👀
EAGLE-4 来了。 从 EAGLE-1 到 EAGLE-3,我们一直在让推理更快。 EAGLE-4 是我们迄今最快的。 在 @Alibaba_Qwen 的 Qwen3.8-27B 上,使用 TokenSpeed(BF16,4× @NVIDIA B300,TP4,单请求,T=0)达到 961.6 tokens/s。 Github:https://github.com/eagle-hq/EAGLE-4在 X 查看被引用的帖子
来源:🚨 AI 新闻 | TestingCatalog · x.com
来源:RadarAI · aihot.news