General Compute 与 Positron 合作集群级部署：GPU 跑 prefill、Positron 芯片跑 decode
General Compute 宣布与 Positron 合作集群级部署，GPU 与专用芯片分工处理 prefill 和 decode
General Compute 宣布将 Positron 作为下一个合作伙伴进行集群规模部署，硬件于 2027 年 Q1 上线，目标是让开源模型获得更快的推理。其做法是把 prefill 放在 GPU 上运行、逐 token 生成交给 Positron 的内存优先硬件，对客户呈现为一个端点和一套 SLA。Positron 的芯片专注内存速度且不依赖 HBM。
Rohan Paul· @rohanpaul_ai · X·2026-10-21 01:04· 34 分钟前AI 评分51
AI 导读
General Compute 宣布将 @positron_ai 作为下一个合作伙伴进行集群规模部署，硬件于 2027 年 Q1 上线，目标是让开源模型获得更快的推理。作者 Rohan Paul 解释其做法是 prefill 在 GPU 上运行、逐 token 生成交给 Positron 的内存优先硬件，对客户呈现为一个端点和一套 SLA；Positron 的芯片专注内存速度且不依赖 HBM。
正文 · 原文
将 prefill 和 decode 拆分到不同芯片上，是当下推理领域最合理的想法之一。
@general_compute 在 GPU 上运行 prompt 读取，并把逐 token 生成交给 @positron_ai 的内存优先系统，然后将两者作为一个端点出售。
也就是说，在 GPU 上运行 prefill，在 Positron 硬件上运行 decode，为跨越 2 种芯片类型的请求向客户提供单一端点。
这些芯片旨在通过聚焦内存速度（AI 生成文本时真正的瓶颈）而非原始处理能力，以更快、更便宜的方式写出 AI 答案。
这种拆分遵循物理规律。Prefill 是大型并行计算任务。Decode 主要是芯片在等待为每个新 token 从内存中拉取权重和缓存。单块芯片至少要在其中一项上做出妥协。
Positron 为第二项任务而构建，并且构建时不依赖 HBM——所有 GPU 都在争抢的内存。
从客户的角度看，它仍然是一份合同和一套 SLA。决定哪块芯片处理哪个阶段是 General Compute 的问题。
我们的异构云刚刚变得更好。我们宣布将 @positron_ai 作为下一个合作伙伴进行集群规模部署。 我们相信，未来十年对快速推理的需求将超过供给。我们对 Positron 的押注，是让开源模型的快速推理交到构建者手中的又一步。 硬件将于 2027 年 Q1 上线。 感谢 @mitesh711、@trsohmers 以及整个 Positron 团队！我们为这次合作感到兴奋。 LFG！在 X 查看被引用的帖子
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news