Groq 下一代推理芯片拟堆叠 DRAM 突破 SRAM 容量瓶颈

Rohan Paul· @rohanpaul_ai · X·2026-10-21 16:09· 46 分钟前AI 评分45

AI 导读

据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开片上 SRAM 容量过小的限制。当前 Groq 3 LPU 的 500MB SRAM 带宽达 150TB/s、约为 Rubin GPU HBM 带宽的 7 倍，但整机架 256 芯片仅 128GB，8-bit 万亿参数模型光权重就需约 2000 颗芯片。

正文 · 原文

据行业消息，Groq 计划在下一代推理芯片中堆叠 DRAM，以绕开 SRAM 容量过小的限制。

Nvidia 去年 12 月支付 200 亿美元，获得 Groq 技术的授权并招揽其领导层，因此这款芯片实际上就是 Nvidia 的下一代 LPU。

关键在于，每生成一个 token 都需要从内存中读取模型权重，因此带宽决定了速度。

如今的 Groq 3 LPU 以 150TB/s 的速度读取其 500MB 片上 SRAM，约为 Rubin GPU HBM 带宽的 7 倍，快到足以实现每秒数千个 token。

不过这块内存太小了，一整个 256 芯片机架也只有 128GB，还不到一块 Rubin GPU 的 288GB，而一个 8-bit 万亿参数模型仅权重就需要约 2000 颗芯片。

在逻辑裸片上堆叠 DRAM，可以在计算单元旁放置多得多的内存，而混合键合版本有望实现约为 HBM 10 倍的带宽密度，且每比特能耗降低 77% 至 83%。

这将使大模型的高速推理只需远少的芯片即可运行。

据报道，该设计名为 3DS，方案更为保守：它通过硅片垂直连接 DRAM 裸片，并保留标准 DRAM 接口，主要以普通 DRAM 速度增加容量。

Groq 尚未公布该方案，而早前的供应链报道描述了另一条路线：SK 海力士的 DRAM 通过混合键合直接融合到逻辑裸片上，与 SRAM 并列。

Cerebras 也计划在其 CS-6 晶圆上堆叠 DRAM，这表明容量上限正制约着所有以 SRAM 为先的设计。

因此，键合方式决定结果：3DS 主要以 DRAM 速度增加容量，而混合键合有望带来更接近 SRAM 的带宽。

来源：Rohan Paul · x.com