DeepX 第二代边缘 AI 芯片 DX-M2 流片，称可在 5W 以下推理 100B 参数模型
DeepX claims inference up to 100B parameters at less than 5 W
韩国边缘 AI 芯片公司 DeepX 完成第二代加速器 DX-M2 流片，称可在低于 5W 功耗下推理最高 1000 亿参数模型，20B 至 100B 参数模型（约 3B 至 20B 激活参数）可达每秒 10 至 30 tokens。
韩国边缘 AI 芯片初创公司 DeepX 已流片其第二代 AI 加速器，该加速器获得了三星定制存内计算（PIM）技术的支持。DX-M2 旨在将生成式 AI 引入机器人、无人机及其他边缘设备，能够在低于 5 W 的功耗下推理参数量高达 1000 亿的模型。
DeepX 的第一代芯片 DX-M1 现已量产，面向视觉应用。新流片的 DX-M2 旨在让本地 AI 成为功耗与散热预算紧张的设备的实用选择。该芯片设计用于以每秒 10 至 30 个 token 的速度运行参数量在 200 亿至 1000 亿之间（约 30 亿至 200 亿活跃参数）的模型，具体取决于模型。这是在与其 M1 相同的功耗预算——仅 5 W——内实现的。
“（M1 与 M2 之间）最重要的变化是内存带宽，”DeepX 创始人兼 CEO Lokwon Kim 对 EE Times 表示。
内存带宽从 50 GB/s 提升至 150 GB/s，增长了两倍，但还有其他多项效率提升。DeepX 表示，得益于设计改进，其 NPU 的能效翻了一番，而转向 2 nm 工艺节点又使其翻了一番。现在可实现 80 TOPS。
“这很重要，因为在 5 W 功耗下我们可以应用到任何地方，无人机或任何其他电池供电设备，”Kim 说。“我们的目标是让复杂 AI 能够在所有设备中部署。”
M2 能够处理大型混合专家 LLM，并支持新技术，包括推测解码和 TurboQuant。
存内计算
大多数类型的 AI 推理操作都受限于在内存与计算之间搬运权重，尤其是 GEMV（通用矩阵-向量乘法），其间需要随机内存访问，从而拖慢计算速度。内存厂商提出了 PIM 方案，使 GEMV 等内存受限操作可以在内存芯片内部计算。在内存内执行操作提高了有效内存带宽，并减少了耗时的内存访问时间。
PIM 将成为 LPDDR6 的 JEDEC 标准。然而，DeepX 一直在与三星合作，将 DX-M2 与三星的 LPDDR5x-PIM 集成。
“我们在这项技术上花了一年半时间，与三星内存合作，因为他们已经有针对 LPDDR5x 的定制 PIM，”Kim 说。“我们已经收到 LPDDR5x PIM 样品，正在内部测试操作和性能。”
DeepX 的模拟显示，将 GEMV 操作从 DX-M2 卸载到 LPDDR5x-PIM 后，Llama3.1-8B 的每秒 token 数将达到仅使用 DX-M2 时的 6.7 倍。
“搭载 LPDDR5x-PIM 的 DX-M2 接近最优，”Kim 说。“但我们的下一代 DX-M3 将支持官方 LPDDR6 PIM 技术；届时我们可以获得完整的理论性能提升，即性能提高 5 至 8 倍。”
Kim 解释说，唯一的缺点是额外计算并非没有代价——6.7 倍的性能需要整体 2.7 倍的功耗。尽管如此，DeepX 认为它可以在与非 PIM 操作相同的功耗包络内实现 2 倍的性能提升。
Kim 表示，编译器需要“大量的人工投入”才能支持这种运行模式，并指出 DeepX 目前有一个原型编译器在运行，基于对支持 PIM 的 LPDDR5x 的模拟。“我们现在正在制作硬件模块，以便能在物理环境中进行测试，所以编译器还无法完成，但我们正在积极开发中。”
关键市场
DX-M2 将瞄准几个关键领域。DeepX 正与台湾 OEM 厂商合作，为 AI PC（包括笔记本电脑和工作站）寻找合适的甜点。DeepX 战略营销总监 Tim Park 对 EE Times 表示，机器人公司目前正在 Nvidia Thor 等 GPU 上进行原型开发，他们希望获得更低的功耗和更多的端侧算力；汽车公司则在寻找能够在车内运行智能体的低功耗芯片。对于 IoT 设备，DeepX 已与三星合作开发下一代智能中枢。该公司还加入了 AWS IoT 生态，以便使用 Greengrass 支持远程模型更新。
Park 表示，机器人客户通常从 GPU 开始开发，但出于散热和功耗方面的考虑，不得不寻找替代方案。DeepX 正努力实现从 Nvidia Isaac 机器人平台向其自研等效平台 Newton 的迁移。
“机器人客户会询问我们的硬件，也会问他们如何从 Nvidia 迁移到 DeepX，”他说。“这就是答案——客户将 API 改为调用 Newton 而不是 Isaac，然后就可以在 DeepX 系统上运行完全相同的流水线。”
Park 表示，DeepX 已有 17 个兼容库投入运行。该公司已演示了基于 M1 的机器人，其使用的源代码与基于 Nvidia Jetson 的机器人相同，但调用的是 DeepX 库。
“对客户来说，实际结果是，当他们从 Nvidia 切换到 DeepX 时，可以享受 20 倍的电池续航时间以及[更低的成本]，”Kim 说。“同时，切换时间可以低于一秒。他们只需将 API 名称从 Isaac 改为 Newton。就这样。”
面向 DeepX 硬件的完整机器人软件栈目前正在开发中。
DeepX 正在与美国、中国、越南和韩国的机器人客户接洽，而现代汽车集团机器人实验室已在其机器人平台中使用 DX-M1。
与此同时，该公司正在构建其生态系统，增加台湾 OEM 厂商、各市场的垂直领域领军企业，以及最近与 Intel 的合作。
DeepX 正与 Intel 合作，将 OpenVINO 与 DeepX SDK 集成，以触达 Intel 的 x86 客户群。DX-M1 可以补充 Intel Core Ultra CPU 中的集成 NPU，并为其他没有 NPU 的 Intel 边缘 CPU 提供 AI 能力，卸载部分或全部 AI 工作负载。
Kim 表示，该公司最近与 AMD 会面，讨论联合开发基于 DeepX 加速器结合 AMD Kria 参考板的机器人平台，特别是面向韩国生态系统。这是 DeepX 推动与其他异构生态系统（包括 Raspberry Pi 和百度的 PaddlePaddle 生态）合作的一部分。
商业进展
Kim表示，迄今为止DeepX已收到超过100份DX-M1的采购订单，来自全球所有主要市场，覆盖所有物理AI行业（包括无人机、机器人、智能工厂、监控摄像头、航空航天与国防、医疗保健以及物联网）。M1目前已进入量产阶段。
Kim表示，物理AI最活跃的市场此前是中国，但日本今年已成为主要市场，并且展现出率先发展人形机器人的强烈意愿。
“日本所有大型公司都在评估我们的芯片，目前日本有10多家领先企业在评估，他们的反馈非常令人鼓舞，”他说。“与此同时，美国市场[也很强劲]；我们在那里有几家知名大客户，他们的反馈也非常好。”
DeepX还参与了韩国、越南和新加坡的智慧城市项目。
“我们的长期观点是，随着效率提升，AI计算将变得更加分布式，”Park表示。“PC和智能手机时代展示了计算如何扩散到众多产品中。AI将走出自己的路径，但当应用需要即时访问传感器数据或在没有持续连接的情况下运行时，本地推理具有明确的价值。”
Park表示，DeepX认为边缘AI对其芯片而言是一个重大机遇，尤其是在可用于新建数据中心的电力有限之际。
Kim的看法是，正如如今CPU市场只有四分之一在数据中心，AI处理器市场也将在未来5到10年向边缘转移。
他补充道，在许多AI数据中心项目被推迟之际，AI算力问题无法仅靠投资解决。功耗仅5 W的AI芯片可以推动AI向设备端迁移。
“如果我们在设备中部署最多1000亿参数的模型，我们可以将AI数据中心的流量减少80%以上，”Kim表示。“这意味着我们可以在不增加任何AI服务器的情况下拥有五倍大的基础设施。这就是我们的愿景。”
DeepX第三代路线图上是将于2028年推出的DX-M3。M3将基于芯粒架构，并采用LPDDR6-PIM，目标达到1 ePOPS（INT8）。其主要目标市场是汽车OEM和人形机器人公司，这些客户的需求将要求多芯粒设计。
与此同时，M2的样品预计于2027年3月推出，量产目标定于2027年秋季。
另请阅读：
来源：Hacker News · eetimes.com