跳到正文
Hacker News· shioyama·· 3 小时前AI 评分74

Architect Labs 用 AI 设计并验证新 CPU 架构 Frostbite

Frostbite: A new CPU architecture discovered, designed and verified by AI

AI 导读

Architect Labs 发布 Frostbite,一款基于交互网(interaction nets)从零构建指令集的通用 CPU,由 AI 系统自主迭代编译器、ISA、微架构、RTL、验证直至最终 GDS。

正文 · AI 翻译

摘要

在我们上一篇关于 Redwood 的文章中,我们展示了给定一种架构,我们的 AI 系统能够在创纪录的时间内实现、验证并部署一款推理加速器。然而,与其他科学领域类似,我们相信 AI 系统在获得正确的自由度和护栏后,能够协同设计软件与硬件,在整个技术栈上进行优化,并开辟出一个此前无法触及的庞大设计空间。我们着手回答这样一个问题:“我们的 AI 系统与工具能否带来一种全新的硬件发现,从而大幅超越人类设计的方案?”

今天,我们推出 Frostbite,一款从零开始构建、采用全新指令集的通用 CPU。Frostbite 利用了交互网络(interaction nets)的特性,即每一步都是局部的、每个依赖都是显式的、每个值都恰好只有一个所有者,从而在长期停滞的 CPU 性能上实现阶跃式提升。在一组最初选定的 25 个工作负载上(其中 15 个一直保留到最终评估),与一款现代、经硅验证的超标量(双发射、顺序执行)CPU 核心相比,我们实现了 4.59 倍的每瓦性能倍数。

我们的 AI 系统自主迭代了编译器、ISA、架构、微架构、RTL、验证以及最终的 GDS。当我们进一步审视所发现的架构原语时,我们惊讶地发现了新颖的硬件实现和运行时特性,而这些原本很难被设计出来。尽管 CPU 核心改进长期停滞,我们仍能够将一个工作负载概念一路推进到最终的 GDS,并证明每瓦性能和每面积性能的阶跃式提升。我们相信,随着 AI 系统能力不断增强,我们今天所知的每一类芯片,从数据中心级 CPU,到 AI 加速器,再到网络交换机和网卡,都将经历类似的基础性架构转变。

交互网络简介

主流编程语言在为通用 CPU 编译时,会隐藏程序各部分之间的依赖关系。任何一段代码都可能通过共享的可变状态读写任何变量,因此现代 CPU 硬件假设最坏情况,并在运行时重新发现哪些指令实际上相互依赖。此外,自 2000 年代初以来,单核 CPU 性能基本停滞,促使人们转向大型多核 CPU,如 Intel Xeon、AMD Zen 和 NVIDIA Vera。这迫使 CPU 维持一种假象,即每个核心看到的是同一份内存,而要让这种假象保持一致且高性能,就需要深层缓存层次结构和一致性协议,它们消耗面积和功耗,且扩展性很差。

交互网络1采用了一种不同的方法。程序是由节点构成的图,计算通过重写通过端口相连的节点对来发生。每次重写只触及图中一小块局部区域。由于每个节点恰好有一个主端口,这些活跃节点对永远不会重叠,因此它们可以按任意顺序重写,或者一次性全部重写,而结果始终相同。交互网络也是线性的:每个值恰好被使用一次,因此不存在需要硬件去防护的共享可变状态。像 Vine2 这样的语言可以将看起来普通的程序直接编译为交互网络。关于交互网络及其为何适合硬件的出色入门介绍,我们强烈推荐 Tendrils 的《On Interaction Nets》。 3

图 1. 五皇后问题的两种方式。左侧,一个 C++ 程序一步一步地遍历搜索树。右侧,同样的搜索作为交互网络同时探索多个分支:3,183 次交互,关键路径仅 262 步。

图 1 展示了一个小型搜索问题上的差异:在五乘五的棋盘上放置五个皇后。顺序程序一次访问一个候选。交互网络则暴露了其所有独立工作:平均而言,每一步大约有十二个交互已准备好运行。程序没有任何部分为了获得这种并行性而被重写;依赖关系只是从未被丢弃。

理论上,这应该有两个很大的优势。第一是免费的多线程:并行性直接来自程序本身,而不是不同层次的粗粒度和细粒度并行。没有线程、锁或竞态条件,也没有传统核心用来重新挖掘并行性的乱序机制。第二,由于每个值只有一个所有者且每一步都是局部的,数据可以存放在使用位置附近的小型本地存储器中。这消除了传统芯片在大型缓存子系统上花费的大量面积和功耗,以及保持这些缓存一致性所带来的大量系统级复杂性。

过程

Frostbite 的设计没有任何架构先验。我们遵循了下面的过程,一路上借助了多个智能体集群。

Timeline of the Frostbite program showing key events, stages from architecture exploration through alignment and iteration, and the agent worktrees created in each stage.

图 2. Frostbite 项目从首次提案到消融实验:关键事件、工作阶段,以及智能体创建的工作树,每个分支用其阶段的颜色绘制。

架构探索与选择

为了开始架构探索,我们必须确定 Frostbite 应极其擅长的工作负载集合。我们决定考察程序暴露其工作的不同方式:许多独立的片段同时进行、多轮并行工作、长顺序链、数据相关分支以及递归。在每个类别下,我们创建了一个搜索集和一个留出评估集,用于评估最终的 Frostbite,确保设计能泛化到从未针对其调优过的程序。FFT、基数排序和 LU 的内核遵循 SPLASH-2 基准测试中的实现,尽管规模小了 64 倍,因为在常规规模下它们不适合探索性工作。

后来,我们向留出集添加了五个更实际的工作负载:卡尔曼滤波器、PCA、有限元分析、LU 求解和 LZ4 解压缩。

Table of 25 workloads in five groups, each split into search set and eval set. Parallel: gemm, chacha20 and spmv in the search set; conv2d, radixsort and pca in the eval set. Staged: fft and binomial in the search set; lcs, bfs, emeans, lu solve and fea in the eval set. Sequential: biquad and sha256 in the search set; huffman and kalman in the eval set. Branching: json in the search set; randomforest and lz4 in the eval set. Recursive: mergesort and nqueens in the search set; quicksort, kdtree and fib in the eval set.

图 3. 全部 25 个工作负载,按每个程序暴露其工作的方式分组,并分为智能体调优所用的搜索集和留出评估集,同时标注了每个工作负载的运行规模。

Agents 综合了研究论文和现有基准,并构建 Python 模型来权衡高层架构理念之间的取舍,随后收窄至单一架构概念。这一探索的产出是一份 141 页的 PDF,涵盖所提出的编程模型、运行时以及芯片的高层模块。这远非最终架构,而是一个起点,其中描述了所有先前的发现、高层需求、约束、实验和运行时特性。一旦首个架构迭代完成(首次 RTL 生成),该文档即被删除,因为许多数字和估算与物理上可行的结果相去甚远。

形式化契约与系统建模

在选定候选架构后,我们的系统转而构建芯片的完整软件模型。在探索架构空间时,构建软件模型至关重要,因为它们允许在工作负载、ISA 和硬件的抽象视图之间快速迭代。无论我们构建的是 CPU、GPU、NPU 还是网络交换机,掌握这一迭代循环都能在有限时间内最快地探索设计空间。为了反复做到这一点,我们设计了一种新的内部规范语言 ASL,并用它编写了 Frostbite 的系统模型“Arcmodel”。ASL 支持在 RTL、系统模型、UVM、SVA 等之间进行机器可检查的转换与精化,且全部基于形式化支撑的规范。其功耗和性能估算精确到 1–5% 以内,运行速度约为 RTL 仿真的 200 倍,并且可通过“契约”进行形式化验证。

迄今为止的每一个芯片项目中,人类架构师都会在移交给实现团队和验证团队之前编写大量英文 PDF。然而,自然语言无法精确且无歧义地捕捉实现所需的每一个细节,也无法保证在 ASIC 设计和验证过程中捕获每一个 agent 幻觉。自然语言从来就不是为此而生的,在 AI 编写规范的世界里,我们选择一种形式化的、机器可检查的规范语言。

ASL 可以形式化地描述高层、类协议行为(如乱序处理、CSR 编程、内存排序和一致性),以及低层细节(如流水线、仲裁机制和计算传递函数)。这使得模型可以在有用之处保持规范开放,而在需要精确行为之处对其进行精确约束。ASL 还可原生转换为 Lean,4我们在跨 RTL、UVM、C、SVA 等检查 AI 输出时使用它进行所有定理证明。我们将在未来的文章中更详细地讨论 ASL。

在 Frostbite 的整个开发过程中,我们的 AI 将 Frostbite ISA、Arcmodel、设计和验证紧密地一起迭代,并维护 ASL 契约作为事实来源。我们发现,拥有单一、可证明的事实来源可以防止在部署大型 agent 集群时出现的一大类 bug、愚蠢错误和奖励黑客行为。最终,这种共同语言使模型能够灵活地跨栈工作,反映从工作负载向下传播到最终硬件的变更。最终,我们的 Frostbite ASL 降低到 80 万行以上的 Lean 代码。

A web of 31 clusters, one per block of the chip, each made of the signals, events, state and clauses its Lean contract names, linked by blue curves where blocks share signals; below, the frame manager's contract drawn out, with its signals on the left feeding events, state and 49 clauses on the right.

图 4. 全部 31 个块的 Lean 合约。每个块都是其合约所命名内容的集群,由谁读取谁连接,并以蓝色表示块之间共享的信号。下方,我们放大查看帧管理器(FRM)块。

RTL 与对齐

由于 ASL 是一种有形式化支撑的规范,设计和验证由其衍生的 RTL 是整个 Frostbite 流程中最快的部分。然而,Arcmodel 并不具备物理感知能力,因此其功耗和性能估算最初会与经过时序收敛、可综合的 RTL 的真实数字存在偏差,最坏情况下偏差接近 250%。

在继续 ASL 自动研究之前,我们的一个系统会依据 RTL 对 Arcmodel 进行重新校准。这是一个完全自主的流水线。它首先识别 RTL 中的功耗热点,并将其追溯到形式化规范中的关键计数器,例如 SRAM 读写、操作计数、发送和接收的 flit、信用返还以及帧未命中。随后,模型可以编写任意基于这些计数器的标量 Python 函数来预测功耗,并重复此过程,直到 RTL 与 Arcmodel 的误差在 5% 以内。

我们发现这种非梯度学习方式极其强大。一旦应用了首次物理对齐,后续迭代就会快得多。当然,这些仍然是流片前的功耗数字,经过多轮流片循环后,ASL 模型可以与真实的流片后量产功耗数字相关联。

Chart of model energy versus RTL energy prediction error over time, showing the Python model at 40–130% error and Arcmodel falling from 250% worst-case error after the first power fit to under 6% worst-case and about 1.5% median after searching.

图 5. 程序运行期间建模能耗与 RTL 能耗之间的误差。Python 模型与 RTL 相差甚远;在首次功耗拟合之后,Arcmodel 被重新对齐并搜索,直到其误差落入 1–5% 的区间。

通过将 Arcmodel 与 RTL 如此紧密地对齐,后续的群体能够以快得多的速度进行探索和利用。完整的 Arcmodel 芯片仿真比 RTL 快得多(快 660 倍),这带来了许多跨栈优化。例如,我们的 AI 系统发现了非常细粒度的时钟门控技巧,并在数小时内相应调整了软件运行时以适配它们。这种跨栈优化在传统 ASIC 流程中几乎不可能执行。

合约、Arcmodel、RTL 与功耗协同迭代

一旦 Arcmodel 与 RTL 达成一致,原始的 Python 模型和架构 PDF 就被删除,ASL 合约成为芯片的唯一规范。从那时起,合约、Arcmodel、RTL 和功耗齐头并进。智能体群体在并行工作树中提出架构修订;每项变更都对照合约进行检查、在 Arcmodel 中建模、在 RTL 中实现并测量功耗,然后被保留或丢弃。在四轮搜索和最后一轮消融中,群体尝试了 58 个想法,保留了其中 37 个,从运行中 tile 上的时钟门控到更小的 L3 表和单个共享扩展器。

图 6. 从首次发布到项目结束的全过程:每轮搜索的想法、它们变成的工作树,以及处理它们的智能体,每个想法都被保留或丢弃。

架构新颖性

完整细节的架构值得单独写一篇文章。相反,我们在此聚焦于我们认为具有新颖性或创造性的特性,并突出我们的系统推动硬件设计前沿的能力。

Frostbite 的程序用 Vine 编写,2 这是一种功能完备的编程语言,语法与 Rust 类似。Vine 程序会被编译为 Ivy,这是一种编码交互网结构的中间表示(IR)。优化器还会尽可能多地应用图归约规则,因此最终所谓的 Ivy 网 具有(基本)固定的形状,由三种原语构成:数据、计算节点和控制节点。然而,这个网的运行时仍然非常动态,因为与典型的计算图不同——在典型计算图中,并行性被编码在结构中并随时间流水化——这里的并行性必须在运行时从状态中推导出来,并在空间上流水化。最初的朴素实现很慢,所以我们的智能体不得不发挥创造力。

生成的 ISA 源自这组约束。其中很多是意料之中的:宽捆绑、硬件循环计数器和流。我们发现动态特性更有趣,特别是从网中其他将并行运行的部分取值、窥视和复制值的操作。随后各个 tile 活跃起来,跨越空间进行通信。

图 7. Frostbite 上的代码到硬件。第一次调用填充芯片,随后它发起的调用跟随其后,以递归方式复用相同的节点,直到每个 tile 同时触发。递归在空间上展开。

涌现特性:窃取工作

由于并行性分布在空间上,因此没有中央调度器。相反,我们看到智能体设计了这些优雅的规则来传播工作。一个 tile 遵循三条规则:它首先运行自己的工作,即其输入端口中的工作。如果这些为空,它就从有富余工作的相邻 tile 那里取工作。如果找不到这样的 tile,它就可以直接进入非活动状态以节省功耗。

智能体在实现这一点上展现出了非凡的精细度。下面是我们为单个 Frostbite tile 设计的硬件:

Block diagram of one Frostbite tile: the front end, the engine, the memory and the system blocks, with the runtime (frame manager, scheduler, work queue, outlet) and the network interface highlighted, and the router, static switch, quad divider and configuration bus outside the tile.

图 8. 一个 Frostbite tile。边界框展示了如何理解各块的域。

其中很多应该很熟悉。我们感兴趣的是负责上述窃取工作行为的 RUNTIME 域。

编译器将代码分解为短段,这些段在输入就绪后不间断运行。它们在引擎中运行,并且大多通过前端像传统计算那样组织。每当循环或分支分裂成大小事先未知的并行片段时,正在运行的段会将后续内容停放为本地内存中的一条小记录,即帧管理器。然后它将新任务放入一个称为工作队列的硬件队列,并自己取走最新的一个。空闲的邻居随后可以自由地通过网络拉取剩余任务。随着任务在芯片上任意位置以任意顺序完成,它们的返回数据包会递减停放记录的计数器,并在最后一块到达的瞬间自动唤醒下一段。

这在硬件中是这样的:

图 9. tile 如何共享工作负载。

我们可以把每个“任务”看作当前棋盘向下一层、多一个皇后的状态。Tile 0 必须为所有可能的皇后配置排队三个任务,然后才能完成当前棋盘状态。它有空闲,所以它取走(来自自己的)最新任务并运行它。与此同时,它的邻居们已经拿到了其他任务,除了 Tile 5,它回去睡觉了。

这一行为从未被任何人类指定过。我们可以直接将其追溯到特定回归和爬山性能指标上的必要性。

结果

我们在 7 nm 工艺上合成了 Frostbite,综合时达到 800 MHz 时序,最终 GDS 中达到 500 MHz。每个 Frostbite quad(2×2 的 tile 网格)搭配四个 L3 节点,面积为 0.792 mm²。我们将一个 Quad+L3 集群与现代超标量(双发射、顺序执行)CPU 的单核进行基准对比,后者我们称为 TCPU(“传统 CPU”)。该 TCPU 在相同工艺下面积为 0.895 mm²。†

Layout of the Frostbite chip, a four-by-four array of identical tiles with memory macros in pink. The top-left two-by-two tiles are outlined and labelled Frostbite quad, and one block on the left edge is outlined and labelled L3 node.

图 10. Frostbite 布局,4×4 个 tile,7 nm 工艺,其中标出了一个 Frostbite quad(2×2 个 tile)和一个 L3 节点。

我们在广泛的工作负载上进行了基准测试,从 gemm 和 conv2d 等密集并行内核,到 JSON 解析、Huffman 编码、k-d 树和递归 Fibonacci 等不规则、分支型程序。一组搜索集工作负载驱动了所有架构优化、ISA 设计、RTL 和验证,芯片在 10 个搜索集工作负载和 15 个留出工作负载上进行了评估,包括后来添加的五个实际工作负载(图 3)。

为了公平比较,我们选择首先通过将一个 Frostbite quad 与 TCPU 进行基准对比来测量“单核”性能,因为它们的面积相近。在所有工作负载上,我们平均获得 8.77 倍的每面积性能,而在全部 25 个工作负载(搜索集和留出集合计)上,Frostbite 达到 TCPU 每瓦性能的几何平均 4.59 倍:在 10 个搜索集工作负载上为 6.02 倍,在从未调优过的 15 个留出工作负载上为 3.83 倍。正如预期,该架构在高度可并行化的任务上表现最强,但在分支型动态代码上也优于 TCPU。

Bar chart of the Frostbite quad's performance-per-watt relative to the TCPU across 25 workloads, search set in blue and the held-out eval set in light blue, from 23.12x on conv2d (eval set) down to 1.15x on fib (eval set), with dashed lines at the geometric means: 3.83x on the eval set, 4.59x across all 25, and 6.02x on the search set.

图 11. 一个 Frostbite quad 相对于 TCPU 最佳构建的每瓦性能,覆盖 25 个工作负载:搜索集中的 10 个和留出评估集中的 15 个。虚线标记评估集、全部 25 个以及搜索集的几何平均值。

Stacked bars of energy share: TCPU 57% memory, 27% fetch, decode and issue, 13% computing; Frostbite quad 38% memory, 6% fetch, decode and issue, 16% computing, 26% on-chip network and scheduler, 14% other; four-by-four Frostbite 40% memory, 7% fetch, decode and issue, 18% computing, 23% on-chip network and scheduler, 11% other.

图 12. TCPU、一个 Frostbite quad 和完整 4×4 Frostbite 各芯片按功能划分的能量占比(不含时钟分布)。20 个工作负载的平均值。

能量分解显示了节省来自何处。除去时钟分布(占 TCPU 能量的 49%,占一个 Frostbite quad 的 41%),TCPU 将 57% 的能量用于内存,27% 用于取指、译码和发射指令。Frostbite 将内存降至 38%,取指、译码和发射降至仅 6%。作为交换,它将其 26% 用于片上网络和调度器,即 tile 之间共享工作和传递消息的成本。然而更令人兴奋的是,当我们将芯片扩展到 4×4 阵列(四个 quad)时,功耗分布相对相同。在通用多核 CPU 配置中,扩展核心数量需要添加繁重的缓存一致性机制和大容量缓存,而在运行交互网时,相同的数据局部性规则始终适用,更多核心不会增加系统复杂性。如下图所示。在接下来的几个月里,我们将在更大的行业基准集(如 SPEC 和 PARSEC)上,将 Frostbite 网状配置与具有大容量缓存和更大、更宽、乱序 CPU 的多核“TCPU”配置进行基准对比。

Schematic floorplans side by side: a TCPU with eight cores, each with its own L1 and L2, around one large shared L3; and Frostbite, an eight-by-eight grid of tiles, each with a small memory block of its own.

图 13. 内存所在的位置。多核 TCPU 在其核心之间共享 L1、L2 和 L3 缓存的深层层次结构;Frostbite 为每个 tile 提供自己的小型内存。示意图,未按比例绘制。

接下来是什么

尽管交互网已经存在了 35 年以上,但其生产价值从未被完全明确。从历史上看,探索分布外架构始终存在风险,因为需要投入时间、资金和人力才能形成信念。我们相信 AI 从根本上改变了这些经济账。在追求更高性能和更低功耗的过程中,对工作负载、ISA 和硬件进行极端协同设计的需求将持续存在。借助大型智能体集群、复杂的搜索空间技术、精确的护栏、形式化验证以及更快的 EDA 工具,AI 系统将能够以超越人类认知的质量发现并构建新型加速器。尽管还有很多工作要做,但我们觉得现在是时候向世界展示自主芯片设计的未来可能是什么样子了。我们计划继续扩大 Frostbite 的开发,包括但不限于:

  • 提供一个软件游乐场,让任何人都能在 FPGA 上托管的 Frostbite 上运行程序。
  • 构建一个初步的操作系统,能够管理硬件资源、多程序、虚拟化等。
  • 扩大集群规模,以提升 Frostbite 的每瓦性能,并在更大规模的工作负载集上针对更广泛的 CPU 进行基准测试。
  • 发布 Frostbite 的 RTL 和 ISA。

我们玩得很开心!

注释

†出于法律原因,我们无法披露具体的 CPU。

参考文献

  1. 1.Lafont, Y. (1990). “Interaction Nets.” Proceedings of the 17th ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages (POPL ’90), 95–108. doi:10.1145/96709.96718
  2. 2.Vine 编程语言。 vine.dev
  3. 3.Tendrils (2026). “On Interaction Nets.” tendrils.co/blog/2026-04-26/on-inets
  4. 4.de Moura, L., and Ullrich, S. (2021). “The Lean 4 Theorem Prover and Programming Language.” Automated Deduction – CADE 28, LNCS 12699, 625–635. doi:10.1007/978-3-030-79876-5_37

来源:Hacker News · architectlabs.com