跳到正文
RadarAI· X:Testing Catalog (@testingcatalog)·· 3 小时前AI 评分47

Eagle Corp 开源 EAGLE-4 推理加速草稿模型

AI 导读

Eagle Corp 开源 EAGLE-4 草稿模型,可根据批大小、硬件和工作负载自适应调整投机解码策略,同时保持目标模型的输出分布。实测搭配 Qwen3.8-27B 在 4× NVIDIA B300 上达到 961.6 tokens/s。Eagle 是服务 NVIDIA、Meta、Intel、AMD、Perplexity 等公司的 AI 推理平台。

正文 · AI 翻译

🚨 AI 新闻 | TestingCatalog· @testingcatalog · X·2026-10-21 06:02· 45 分钟前AI 评分40

AI 导读

Eagle Corp 发布开源灵活草稿模型 EAGLE-4,可根据批大小、硬件和工作负载自适应调整投机解码策略,并保持目标模型的输出分布。实测搭配 Qwen3.8-27B 在 4× NVIDIA B300 上达到 961.6 tokens/s。Eagle 是服务 NVIDIA、Meta、Intel、AMD、Perplexity 等公司的 AI 推理平台。

正文 · 原文

Eagle Corp 发布了 EAGLE-4,这是其最新的开源灵活草稿模型,用于加速 LLM 推理。

其核心在于:“一个草稿模型会根据批大小、硬件和工作负载自适应调整其投机解码策略,并保持目标模型的输出分布。”

Qwen3.8-27B 与其 EAGLE-4 草稿模型是实测的目标组合,在 4× NVIDIA B300 上运行时达到 961.6 tokens/s。

Eagle 是一个 AI 推理平台,为 NVIDIA、Meta、Intel、AMD 和 Perplexity 等领先公司提供支持。

推理测试时间 👀

引用Eagle@EagleCorp
EAGLE-4 来了。 从 EAGLE-1 到 EAGLE-3,我们一直在让推理更快。 EAGLE-4 是我们迄今最快的。 在 @Alibaba_Qwen 的 Qwen3.8-27B 上,使用 TokenSpeed(BF16,4× @NVIDIA B300,TP4,单请求,T=0)达到 961.6 tokens/s。 Github:https://github.com/eagle-hq/EAGLE-4
在 X 查看被引用的帖子

来源:🚨 AI 新闻 | TestingCatalog · x.com

来源:RadarAI · aihot.news