Cerebras 推出分离式推理,GPU 负责预填充、Cerebras 负责解码
Cerebras Disaggregated Inference
Cerebras 上线分离式推理方案,由 GPU 处理 prompt 预填充、Cerebras 系统负责解码生成,已在 Cerebras Inference Cloud 生产部署。
我们已将 Cerebras 晶圆级引擎与 GPU 结合部署,以大规模提供极速 token
世界渴望超高速 token。2026 年,Cerebras 在自有推理云和合作伙伴渠道都看到了对快速推理的旺盛需求。为满足需求,我们开始开发分离式推理:GPU 负责提示处理(prefill),Cerebras 系统负责输出生成(decode)。
该方案现已投入生产,在保持 Cerebras 同等极速的前提下,每兆瓦可交付五倍的 token。
我们现在可以通过 Cerebras 推理云提供更多超高速 token,以满足市场需求。基础设施合作伙伴也可以利用 Cerebras 分离式方案,在自有数据中心内获得更多超高速 token。
结合我们近期发布的 CS-4、大幅扩大的制造能力,以及计划中的 700MW 数据中心容量,分离式推理将使 Cerebras 及合作伙伴在 2027 年及以后能够提供更多超高速 token。
本篇博客涵盖:
- 对更多超高速推理容量的需求
- 为何 Cerebras 在 decode 上具有优势
- Cerebras 分离式推理的生产结果
- 面向基础设施合作伙伴的 Cerebras 分离式推理
对更多快速推理容量的需求
Muse、Copilot 和 Codex 等智能体应用正快速扩展,需要高度交互式的推理来保持用户参与。为在电力受限的环境中满足这些应用日益增长的需求,我们的行业必须以让这些应用真正有用的响应速度,每兆瓦交付显著更多的推理容量。
来源:Goldman Sachs Research,“AI Agents Forecast to Boost Tech Cash Flow as Usage Soars”,2026 年 5 月 20 日;Goldman Sachs 数据中心容量估算,据 Investing.com 2026 年 11 月 6 日报道。
这就是 Cerebras 投资分离式架构的原因。将用于提示处理的 prefill 加速器与用于响应生成的 Cerebras 系统配对,可在保持 Cerebras 极速生成的同时提高每兆瓦的 token 吞吐量。对推理服务商而言,这意味着在相同电力预算下拥有更多服务客户的容量和更大的收入潜力。
为何 Cerebras 在 decode 上具有优势
一次推理请求包含两个主要阶段。提示处理(称为 prefill)处理输入并生成中间模型状态。响应生成(称为 decode)利用该状态生成输出 token。拆分推理负载的方式有很多,包括 draft–target、attention–FFN 等,但当目标是高度交互式推理时,将 prefill 与 decode 分离具有独特优势。
Decode 是自回归的。这意味着模型一次生成一个 token,并将每个已生成的 token 作为输入来生成下一个。每一步都意味着再次从内存读取模型数据,因此内存带宽至关重要。在超高速推理领域,以 SRAM 为中心的芯片具有优势,因为它们可以将数据保留在片上并以快得多的速度读取。Cerebras 将这一优势扩展到晶圆级,单芯片拥有数十 GB 的 SRAM 和每秒数十 PB 的内存带宽——是典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍内存带宽。这使 Cerebras 系统能够将更多并发请求和模型层直接放在芯片上,从而让 CS-3、CS-4 和 CS-5 以极具吸引力的吞吐量实现超高速。
Cerebras 分离式推理生产结果
将针对超快解码优化的 Cerebras 系统与非常适合预填充计算需求的加速器(如 AMD Instinct GPU)配对,可以在规模上提供大量超快推理。在 Cerebras Inference Cloud 的生产部署中,AMD Instinct GPU 处理提示,Cerebras CS-3 系统生成响应。将提示处理转移到 GPU 使 Cerebras 系统能够将其服务容量专用于响应生成。在我们测量的生产部署中,这种组合每兆瓦吞吐量是仅 CS-3 配置的 5 倍,且令牌生成速度没有损失。
来源:11 月 14 日通过 Cerebras Inference Cloud 共享的 GPT-OSS-120B 端点,在启用分离式推理前后的每兆瓦吞吐量,归一化到聚合推理基线(1×)。
我们计划到 2027 年底在 Cerebras Inference Cloud 和合作伙伴部署中广泛部署数百兆瓦的分离式推理。我们的目标是增加可供客户使用的超快推理容量。
面向基础设施合作伙伴的 Cerebras 分离式推理
Cerebras 分离式推理解决方案也是为我们的合作伙伴采用而构建的。基础设施合作伙伴可以基于 Cerebras 提供的参考架构部署分离式推理集群,将其选择的预填充加速器和 Cerebras 系统共置于统一网络中。对于软件集成,合作伙伴可以集成 Cerebras 端到端分离式软件栈或仅解码 SDK。
端到端分离式软件栈最适合优化上市时间的合作伙伴。它包括:
- 一个分离式推理框架,用于在预填充池和解码池之间路由请求,并管理副本容量和健康状态。
- 一个预填充引擎,使用 vLLM 或 SGLang 等开源推理引擎处理提示。
- 一个 Cerebras 解码引擎,用于在 Cerebras 系统上生成响应。
- KV Portal 软件,一个通过 RDMA 在预填充引擎和解码引擎之间传输中间模型状态(包括键值缓存)的接口。
仅解码 SDK 最适合优化控制权的合作伙伴。使用仅解码 SDK,合作伙伴可以将自己的推理框架和预填充引擎接入 Cerebras 解码引擎和 KV Portal 软件。此外,仅解码 SDK 还提供开发辅助工具,例如模拟 Cerebras 解码副本,以及与开源分离式推理框架和预填充引擎的参考集成。
早期访问合作伙伴,包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute,已经可以在其部署中访问 Cerebras 分离式解决方案。我们现在正在扩大访问范围,面向希望大规模为客户带来超快推理的更多合作伙伴。
如需更详细地讨论结果、解决方案或部署机会,请在此处联系我们。
来源:Hacker News · cerebras.ai