IBM Research 用开源模型与 llm-d 分布式推理降低 AI 芯片设计成本

IBM Research：AI·2026-10-13 20:00· 1 小时前AI 评分52

用开放 agent factory 扩展 AI 驱动的芯片设计

AI 导读

IBM Research 演示用开源前沿模型结合 llm-d 分布式推理构建 agent factory，对量子纠错解码算法 Relay-BP 做 HLS 硬件优化，在 100 个假设预算下实现约 52 倍加速、推理成本约 26 美元；同预算下全专有模型配置成本 299 美元、加速 204 倍。

正文

随着 AI 系统能力不断增强，研究人员越来越多地提出一个实际问题：AI 能否不只是帮助为计算系统编写代码？具体来说，它能否主动参与复杂计算系统的设计，并快速将算法转化为硅片？AI 驱动芯片设计的新研究表明，答案是肯定的。但一个有前景的算法只是硬件设计的开始。要将其转化为高效芯片，需要探索如何组织计算、移动数据，以及利用有限的硬件资源。每一种选择都会带来替代方案。每一种替代方案都需要工程投入来实现和评估。

AI agent 可以扩展这种探索。它们协同工作，可以提出架构变更、编写实现、检查正确性，并利用综合结果来决定下一步尝试什么。障碍在于成本：硬件设计的 LLM tokenomics 以及设计空间探索的成本效益。单次搜索活动可能消耗数亿个 token，而将这种方法应用于众多组件和设计修订可能需要数百次这样的活动。

IBM Research 的一项新演示展示了开放前沿模型和高效分布式推理如何改变这一计算。研究人员使用 agent factory 优化量子纠错硬件，在高层次综合估算中相比基线设计实现了 52 倍加速，推理成本约为 26 美元。在相同的搜索预算下，专有前沿模型配置的成本是全程使用开放前沿模型配置的 11.5 倍——分别为 299 美元和 26 美元。专有配置实现了更高的加速（204 倍），但开放模型配置确立了另一个结果：可以用小得多的推理预算实现显著的硬件优化，同时获得面积最小的设计。

这种成本优势创造了更广泛地应用自动化探索的机会，并将节省下来的资源再投资于寻找更好的设计。

结果还表明，AI 辅助芯片设计的实际价值不仅取决于 agent 能产生的最佳设计。它还取决于一个组织能负担多少经过验证的探索。模型能力、agent 角色的分配，以及为这些模型提供服务的基础设施，都会影响在实际工程预算内可实现的硬件改进。通过将开放前沿模型与 llm-d 的低成本分布式推理相结合，IBM 已证明 AI agent factory 可以超越编码辅助，成为硬件设计的积极参与者，而且能够以可负担的方式做到这一点。

从生成代码到探索架构

硬件设计仍然是计算领域最依赖专业知识的活动之一。高层次综合（HLS）将抽象层次从硬件设计语言中使用的寄存器传输级（RTL）提升到 C 或 C++，但工程师仍然必须就循环结构、并行性、内存组织、数据流和综合指令做出无数决策。这些选择以复杂的方式相互作用。例如，只有在内存系统能够提供输入的情况下，同时执行更多计算才有帮助。运行更快的设计也可能需要更多的硬件资源。找到有用的平衡需要反复实验，而设计空间很快就会变得太大，人类无法穷尽探索。

一个“智能体工厂”组织了这项工作。“智能体工厂将硬件优化转变为一个协调的探索循环：一个协调者智能体指导并行的工作者智能体在定义的搜索预算内开发和综合替代设计，”IBM 院士兼 IBM Research 首席科学家 Ruchir Puri 说。

当这些智能体被设定任务后，它们会独立探索优化策略。“验证器检查所提出的改进是否有效，设计按延迟和硬件资源使用进行排名。这些结果指导下一轮探索，使工厂在发现更好设计的同时完善其搜索，”Puri 补充道。工厂不是寻找单一解决方案，而是并行研究许多可能性，利用综合反馈来指导未来的探索。

在这项新研究中，协调者规划了搜索，并将优化假设分配给四个并行的工作者智能体。工作者修改了解码器实现，正确性检查和 HLS 结果提供了后续轮次的反馈。每个配置获得了 100 个假设的预算。

智能体探索了具有架构后果的更改。一项转换重新组织了消息存储，使综合工具能够识别独立的内存访问并并行执行更多工作。另一项转换用树结构替换了顺序归约，从而暴露了并行计算。价值来自于通过反复评估将代码更改与其硬件效果联系起来。

量子计算核心的经典硬件挑战

新论文解决的关键问题是，这种方法能否使用开放前沿模型和分布式推理基础设施以经济高效的方式扩展。为了评估这一想法，Puri 和他的团队使用 Relay-BP（一种量子纠错解码算法）针对 [[144,12,12]] 双变量自行车码演示了该方法。

量子纠错依赖于经典计算。测量提供了关于影响量子信息的错误的线索，解码器必须解释这些线索并推断纠正。在实际硬件资源限制内快速完成这一点，是构建容错量子系统的重要组成部分。

Relay-BP 是一个有用的测试，因为其重复的消息传递本质上是并行的，但基线实现的稀疏图表示和内存访问模式使 HLS 工具难以利用这种并行性。

这也使该解码器成为对 AI 驱动硬件探索的严苛测试，因为智能体必须在改变硬件执行方式的同时保持计算不变。

相同的搜索预算能买到什么

研究人员在相同的100个假设预算下比较了三种配置：以专有前沿模型同时担任协调者和工作模型、以开放前沿模型担任两种角色，以及由专有协调者和开放模型工作模型组成的混合配置。开放模型通过llm-d在本地运行。

三种配置都发现了经过验证的硬件改进，但产生了不同的权衡。开放和混合搜索找到了有用的紧凑设计，而专有配置更有效地将额外资源转化为并行性和更低延迟。每种配置仅在一次搜索运行中评估，因此这些结果描述的是所观察到的搜索，而非建立通用的模型排名。

全开放搜索还使用了更多token：约2.41亿，而全专有搜索为2.16亿。其较低成本来自服务这些token的经济性。这一区别对智能体工厂很重要，因为每个假设都可能涉及多轮推理、编码、调试和解释工具结果。

为什么推理基础设施很重要

智能体工厂会反复访问大量相同信息：源代码、设计约束、早期更改和综合报告。高效的服务可以复用与这些共享上下文相关的计算。

该研究使用llm-d——一个开源分布式推理框架——来支持这一工作负载。其缓存感知路由将请求导向持有可复用上下文的服务器。它还将提示处理与token生成分离，使系统能够独立地为两者分配资源。这些能力有助于减少重复工作并高效利用加速器容量。

随着企业寻求控制不断上升的推理成本并保持对敏感数据的控制，这一最新演示表明，通过llm-d的分布式推理栈在本地部署的开放权重模型可以大幅降低服务成本，同时仍能发现有价值的硬件优化。

对于芯片设计工作负载，论文报告前缀缓存命中率约为98%，混合服务成本约为每百万token 0.11美元。该部署在共享基础设施上与其他智能体工作负载一起为工厂提供服务。开放权重还使团队能够在本地运行模型，并保留对这些智能体所处理的设计产物的控制权。

因此，成本优势反映了开放模型与高效服务系统的结合。两者都有助于使持续探索变得可负担。

下一步：将更低成本转化为更好的设计

更低的推理成本为额外搜索创造了空间，但花更多钱并不自动产生成比例的改进。将全开放活动从100个假设扩展到200个假设，其加速比从52倍提高到60倍。收益仍在继续，但有所递减。

下一步是改进智能体工厂利用这些额外预算的方式。未来工作将探索资源的自适应分配、更广泛的架构假设，以及针对困难转换或搜索协调有选择地使用更强模型。目标是刻意地权衡成本与质量：决定在哪里增加推理、更换模型或采用新的架构方向最有可能改进设计。

评估还需要在推理之外，将综合与验证成本一并纳入考量。只有当整个流程能够支撑由此带来的额外探索时，降低工作流中某一环节的成本才最有价值。

AI 用于芯片设计，将两种进步形式连接成一种互惠关系：更好的硬件催生更强大的 AI，而更强大的 AI 又能帮助工程师开发更好的硬件。高性价比的智能体工厂让这种关系更加切实可行。通过让每次搜索更经济，开放模型与分布式推理为测试更多想法创造了空间，而借助更好的搜索策略，这一机会便能转化为更好的芯片。

来源：IBM Research：AI · research.ibm.com