Cerebras 上线分离式推理方案
热点事件持续更新
Cerebras 上线分离式推理方案
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Cerebras 推出分离式推理方案并已在 Cerebras Inference Cloud 投入生产:由 GPU 负责 prompt 预填充(prefill),Cerebras 系统负责解码生成(decode)。Cerebras 称该方案在保持同等速度的同时,每兆瓦可产出五倍于原来的 token 数。 AWS、Fireworks AI、Gimlet Labs 和 General Compute 等早期接入合作伙伴已可在其部署中使用该方案,Cerebras 表示正把接入范围扩大到更多合作伙伴。Cerebras 计划到 2027 年底在 Cerebras Inference Cloud 及合作伙伴部署中,将分离式推理推广到数百兆瓦规模。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 08:56
Cerebras 推出分离式推理,GPU 负责预填充、Cerebras 负责解码报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hacker NewsCerebras 推出分离式推理,GPU 负责预填充、Cerebras 负责解码
Cerebras 上线分离式推理方案,由 GPU 处理 prompt 预填充、Cerebras 系统负责解码生成,已在 Cerebras Inference Cloud 生产部署。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。