跳到正文
热点事件持续更新

Cerebras 上线分离式推理方案

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Cerebras 推出分离式推理方案并已在 Cerebras Inference Cloud 投入生产:由 GPU 负责 prompt 预填充(prefill),Cerebras 系统负责解码生成(decode)。Cerebras 称该方案在保持同等速度的同时,每兆瓦可产出五倍于原来的 token 数。 AWS、Fireworks AI、Gimlet Labs 和 General Compute 等早期接入合作伙伴已可在其部署中使用该方案,Cerebras 表示正把接入范围扩大到更多合作伙伴。Cerebras 计划到 2027 年底在 Cerebras Inference Cloud 及合作伙伴部署中,将分离式推理推广到数百兆瓦规模。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Hacker News
    Cerebras 推出分离式推理,GPU 负责预填充、Cerebras 负责解码

    Cerebras 上线分离式推理方案,由 GPU 处理 prompt 预填充、Cerebras 系统负责解码生成,已在 Cerebras Inference Cloud 生产部署。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。