为什么硬件专用化正在回归

1990年，劳伦斯利弗莫尔的尤金·布鲁克斯在超级计算大会上表示，没有什么能抵挡“杀手微处理器”的攻击。“Micro”指的是微处理器，即一种在大多数类型的计算中都能表现出色的通用芯片。它们每年还以数百万计的规模销往台式PC，性能逐年提升得越来越快。

大约在同一时期，与之竞争的各种专用架构，如向量处理器、大规模并行处理器（MPP）和Lisp机，开始大规模消亡。ETA Systems于1989年关闭，Multiflow于1990年关闭，Alliant于1992年关闭，Symbolics于1993年关闭，Kendall Square Research和Thinking Machines（与今天的同名公司并非同一家）于1994年关闭，Cray Computer于1995年关闭。Thinking Machines的创始人丹尼·希利斯多年后评论道：“……最终这些东西不过是一箱箱微处理器罢了。”

有趣的是，这些专用芯片并非因为在不重要的问题上更胜一筹而落败。通用微处理器实际上表现优于它们，不仅在一系列广泛的工作负载上如此，在专用芯片所设计针对的那些工作负载上也是如此。

尽管制造这些芯片的公司未能存活下来，但它们带来的理念在其他芯片中延续了下来。CPU以SSE和AVX的形式吸收了向量处理技术，大规模并行设计则影响了多核CPU和GPU架构。当时的模式是，专才们提出了好点子，但通用芯片将这些点子吸收进了单一架构之中。

如今，我们正处于该行业的又一个鼎盛时期。AI工作负载与传统软件工作负载差异足够大，以至于整个行业正在重新思考计算究竟应该是什么样子，背后涌现出许多不同的新芯片和理念。

服务于AI工作负载的新型加速器大量涌现，GPU为芯片公司带来的收入超过了CPU（尽管CPU目前也处于自身的需求紧缺之中）。在这样的时期，回顾上一轮硬件热潮、看看自那以后发生了什么变化（以及什么保持不变），以更好地预测接下来会发生什么，是很有意思的。这一次对专用芯片来说会有所不同吗，还是它们最终会像以前一样被通用芯片吸收？

通用芯片为何（一度）胜出

为什么在90年代，“杀手微处理器”能在专才们所设计针对的那些工作负载上击败专用硬件？通用微处理器能够利用一个良性循环：通用性带来销量，销量带来性能，性能反过来又带来通用性。

1. 通用性带来销量

微处理器以数千万计的规模销往台式PC，作为通用硬件，它能运行PC上的每一种工作负载。另一方面，专用硬件的销量则低得多，因为它只能运行一种工作负载。

2. 销量带来性能

这些销量转化为大幅降低的成本、更多的买家，并最终带来更多资金来资助微处理器的研发。Hennessy 和 Patterson 估计，从 1986 年到 2003 年，单处理器性能每年增长超过 50%，其中大部分来自更快的时钟速度。在那段时期，摩尔定律的缩放带来了免费的午餐——也就是说，对于任何能够持续资助领先边缘晶圆厂和大型芯片设计团队以利用每一代新产品的人来说，这是免费的。销量较低的专家们无法负担同样的节奏，因此落后了。此外，一旦专家的工作负载被更好地理解，通才们就能够吸收专家们的一些最佳想法（参见向量处理成为 CPU 的一项能力）。

3. 性能驱动通用性

很大程度上由晶体管缩放实现的更快时钟速度是一股上涨的潮水，抬高了微处理器阵营中的所有船只。同一个程序从 386 移到 486 会自动变得更快，因为它们共享一个指令集。对于需要基于新指令或硬件能力重新编译或使用新库的程序，英特尔和软件供应商能够负担在操作系统和编译器方面的大量投资，并将其扩展到庞大的用户群。另一方面，专用硬件需要自己的软件栈，而那些公司资金有限、规模较小，更难跟上。每当微处理器变得更快、更便宜时，以前不可行的应用就被解锁了。一个有趣的例子是配备 DVD 驱动器的 PC，最初附带专用视频解码卡。大约两年内，当 Pentium II 可以在软件中解码视频时，这些卡就灭绝了。

失去我们的免费午餐

不幸的是，来自 Dennard 缩放的“自动”速度提升并没有永远持续下去。1974 年，IBM 的 Robert Dennard 发表文章指出，更小的晶体管比更大的等效晶体管更快、更便宜、功耗更低，因此每一代时钟速度都可以提高，而功耗保持不变。

这对围绕专用化的困境很重要，因为我们可以通过不同方式推动工作负载的性能改进（例如算法改进、芯片在硬件层面针对特定任务变得更专用/更好，以及工艺技术的根本效率提升都可以推动更好的性能）。

Dennard 缩放首先失效的是将更小的晶体管缩放到更低电压的能力，而这正是能够在相同芯片面积内容纳更多、更密集晶体管的同时保持相同功耗水平的关键。这大约发生在 2005 年，如下图所示。结果，更小的晶体管无法从成比例降低的电压中受益。这种电压缩放是让我们能够缩放时钟频率的关键，因此你可以看到频率也在此时趋于平缓。我们还可以看到，逻辑核心数量大约在此时开始上升，以补偿时钟速度的平缓，然而并非每个应用都能有效并行化，所以它不再是以前那样的“免费午餐”。

接下来崩塌的是单个晶体管成本，这大约发生在 2012 年。晶体管确实继续缩小，但晶圆厂成本和额外工艺成本的上涨速度快于每片晶圆的晶体管数量增长，因此每次缩小仍能带来每芯片更多晶体管，但单个晶体管的价格持平或更高。

还有其他扩展性挑战。回到 1995 年，当时的专家提出了“内存墙”，依据是观察到内存带宽的增长速度远慢于计算（而且它从未追上）。David Patterson 估计，从 2012 年到 2022 年，NVIDIA GPU 的计算性能提升了 80 倍，而内存带宽提升了 17 倍。造成这一差异的一个关键因素是，计算性能随芯片面积扩展，而能进入芯片的带宽随其周长扩展。

2012 年，当晶体管成本停滞时，我还是斯坦福 Mark Horowitz 组的研究生。我的联合创始人之一 Omid Azizi 与 Mark 一起研究通用芯片低效的来源，发现一个在通用芯片上运行的 720p 编码器，其能效比在专用 ASIC 上运行低约 500 倍。既然 Dennard 缩放带来的免费午餐已经结束，是不是该回归专用芯片了？

GPU 的崛起：专用芯片的复仇，还是新的通用芯片？

GPU 是 CPU 时代最初幸存下来的专用芯片之一。1999 年的 GeForce 256 把一件事做得非常好：为游戏用例在屏幕上快速渲染三角形。与向量处理器和 Lisp 机器等其他专用芯片不同，它拥有主流受众，因此出货量巨大，数百万块进入游戏 PC。渲染是高度并行的，需要大量核心，这是 CPU 性能每年提升 50% 所无法单独提供的。

一旦时钟频率在 2005 年停止扩展，芯片就必须从“把同一件事做得更快”转向“同时做更多事”。GPU 早已为此设计，拥有数千个简单核心和非常高的内存带宽，这是对单线程速度的权衡。这使其成为超大规模工作负载极具吸引力的平台，从早期机器学习到加密再到高性能计算。如果没有 GPU 在 AI 工作负载上相对于 CPU 提供的巨大效率和性能，我们就不可能训练和扩展万亿甚至十亿参数 LLM，可能仍会局限于小型回归模型。

GPU 能够大幅扩展其性能，但方式与其 CPU 前辈在 Dennard 缩放巅峰时期不同。Nvidia 的 Bill Dally 在 Hot Chips 2023 上通过以下图表拆解了过去 10-15 年性能提升的来源，展示了推理性能随时间的提升。

对于单 GPU 推理性能而言，1000 倍加速中约有 16 倍来自更简单的数字格式（例如从 FP32 到 BF16）。12.5 倍来自新指令，2 倍来自利用稀疏性（在计算中跳过权重），而只有 2.5 倍来自从 28nm 到 5nm 的工艺改进。这意味着，过去 40 年里推动行业实现大规模性能扩展的工艺，其贡献反而小于其他主要因素！请注意，该分析并未包含同时发生在由众多 GPU 组成的大规模系统上的巨大性能扩展（因为该分析仅限于单个 GPU 的推理性能）。

随着 AI 持续扩展，GPU 的销量实际上已经超过了 CPU 的销量。也许到了这个时候，我们应该把 GPU 称为通用加速器，而把 CPU 称为专用芯片！

为什么未来会变得更加异构（在一段时间内）

回到当下，推理正在以惊人的速度增长。根据高盛 2026 年的一份报告，从 2026 年到 2030 年，对 token 的需求将增长 24 倍，而可用电力只会增长约 2 倍。我们需要更高效、更高性能地运行这些工作负载，因为我们很可能仍将面临可用物理基础设施的稀缺。

那么我们还有哪些杠杆可用？Dennard 缩放已经终结，而当年让 GPU 在 10 年内获得 1000 倍性能提升的每一个杠杆，其回报都将递减。从 32 位精度降到 4 位精度已经很困难，而相比之下 4 位以下的空间并没有那么大。网络扩展和算法仍将极其重要，但也各自面临挑战。内存墙是推理工作负载的主要限制因素，尤其是在高度受内存带宽约束的解码阶段。

为了帮助提升推理性能，GPU 一直在追随 CPU 的脚步，将推理专用的硬件概念直接集成到 GPU 内部，这与 CPU 当年集成浮点单元的方式类似。Tensor core 于 2017 年加入，MXFP4 和 NVFP4 于 2024 年加入，它们主要用于推理。

现在是专用芯片回归的时候了吗？它们能为特定工作负载带来显著更高效的性能。面向推理的新芯片正经历一场寒武纪大爆发，但这一方向最有趣的举措之一来自 Nvidia 与 Groq 的大规模交易。Groq 现在被称为 Nvidia 的 LPU，是一款以 SRAM 为中心的芯片，其架构与 GPU 有着根本性的不同。GPU 将内存放在远离计算单元的 HBM 中，从而可以存储大量数据；而 Groq、Cerebras 和 d-Matrix 等近内存计算芯片则将内存直接放在计算单元旁的裸片上，当数据能装进可用的芯片内存时，可提供极快的内存带宽。两种设计各有优势，取决于工作负载的具体部分，而 NVIDIA 现在正协同调度 GPU 和 LPU 上的推理，以继续推动推理性能提升。

推理是一种高度异构的工作负载，推理的不同阶段受益于底层硬件的不同权衡。鉴于晶体管、内存带宽和网络带宽方面的扩展挑战，为工作负载的每个部分选择合适的芯片架构可以带来大幅性能提升，即使底层资源已不再像以前那样扩展。

我的公司 Gimlet 最关注的是在多种加速器之间编排推理工作负载。通过将工作负载拆分到不同类型的芯片上——例如 NVIDIA GPU 和 LPU，或 Google 的 TPU、Cerebras 晶圆、d-Matrix Corsair、Trainium、AMD GPU 等其他硬件——我们发现每瓦性能比仅使用同构堆栈所能达到的水平显著更好。

尽管专用硬件在过去失败了，但如今的情况已有所不同。借助智能体，为新加速器类型开发优化代码比以往任何时候都更容易。与几十年前相比，我们拥有远为丰富的专业知识和基础设施来构建新芯片（例如，大多数芯片公司无需自行处理制造环节）。我们的功耗受到严重限制，而工作负载（推理）的规模持续爆炸式增长，许多唾手可得的性能提升已被摘走。

将推理工作负载拆分到不同类型的芯片上并非易事，而且很大一部分复杂性既在软件层，也在物理基础设施层（但好的一面是，物理基础设施的复杂性可能比软件构成更持久的“护城河”）。重要的是以高度模块化、可配置的方式选择和部署硬件，并配备能够利用所有可用硬件的软件栈，不留下为特定任务预留的搁浅容量。

我看好将多样化芯片整合在一起所带来的好处，因为在这个推理时代，在有限功耗下提供显著更多或更快的 token 是如此巨大的优势，值得为此付出复杂性代价。这一阶段将持续数年，尽管可能不会永远持续。

专业化的钟摆

曾执掌日立半导体业务的牧本次夫指出，通用部件与专用部件如同钟摆，会周期性地从一侧摆向另一侧。虽然上市时间、成本效益和运营效率有利于标准化部件，但差异化和供需失衡会促使钟摆摆向另一侧。

那么 2026 年的钟摆处于何处？尽管有向异构化发展的趋势，GPU 仍有顺风因素。晶圆厂和 HBM 配额非常稀缺，新进入者难以获得。AI 加速器（GPU 及其他）需要部署多年才具经济性，而工作负载仍在持续演变。随着 GPU 不断证明自身价值，它们将继续吸收新的推理特性。

与此同时，专用芯片也有许多有利因素。最稀缺的资源之一是功耗，特别是 AI 工作负载的每瓦性能，而专用芯片可以针对给定工作负载最大化性能。为新硬件开发软件正变得越来越容易，因为智能体正在缩短编写内核甚至设计新芯片所需的时间。我们预计专用芯片将持续增加，为推理提供更好的每瓦性能，尤其是与 GPU 结合，用于工作负载中不易卸载到新加速器的部分。

尽管我预计钟摆最终可能会摆回通用架构，但专业化时代已经来临，对于从事基础设施工作的人来说，这是一个非常激动人心的时期。每个计算时代（桌面、云、移动，如今是 AI）都会带来一组新的主导工作负载，并且需要重新思考计算的实际形态。即使在钟摆摆动之后，当今新颖的专用硬件也有可能成为明天的主流硬件（即使不能，它的贡献也可以继续存在于未来的通用芯片中）。

感谢阅读，如果你对这些话题感兴趣，请发邮件至 hello@gimletlabs.ai 联系我们！我们正在招聘所有岗位，并正在扩展我们的推理云，以在未来几个月内为更多用户提供速度大幅提升的 token。

立即订阅

本新闻通讯仅供参考，不应作为法律、商业、投资或税务建议的依据。此外，本内容不构成投资建议，也不 intended 供任何 a16z 基金的投资者或潜在投资者使用。本新闻通讯可能链接到其他网站或包含从第三方来源获得的其他信息——a16z 尚未独立核实此类信息，也不对其当前或持续的准确性作出任何陈述。如果本内容包含第三方广告，a16z 未审查此类广告，也不认可其中包含的任何广告内容或相关公司。所提及、引用或描述的任何投资或投资组合公司并不代表 a16z 管理的工具中的所有投资；请访问 https://a16z.com/investment-list/ 获取完整投资列表。其他重要信息可在 a16z.com/disclosures 找到。您收到本新闻通讯是因为您此前已选择订阅；如果您希望退出未来的新闻通讯，可以立即取消订阅。