跳到正文
Tomasz Tunguz·· 4 天前AI 评分66

芯片货架上的价格战:前沿模型每任务成本相差 3.8 倍

Price War in the Chip Aisle

AI 导读

五个前沿模型在智能水平上相差不到 5 分,但每任务成本相差 3.8 倍,Google 的 Argon 以每任务 1.99 美元处于最低端,比最贵的 Fable 5.1 低 74%,比 Opus 5.5 低 67%、比 Muse Wonder 低 56%、比 Astra 低 39%。

正文 · AI 翻译

现在有五款前沿模型在智能水平上彼此相差不到五分,但它们的单位成本相差 3.8 倍。

The AI grocery store aisle: a grouped bar chart of weighted average cost per Artificial Analysis Intelligence Index task for five frontier models, grouped by index score; the three models tied at 53 points span $1.99 to $7.63

Google 的 Argon 定价处于这一集群的最低端,每项任务 1.99 美元1,比最贵的模型 Fable 5.1 低 74%。它也比 Opus 5.5 低 67%,比 Muse Wonder 低 56%,比 Astra 低 39%。

如果我们相信 Michael Mauboussin 关于价格传递信息的原则2,那么我们可以推断,不同的模型、架构以及不同的 GPU 成本在这里直接体现出来。

为什么会这样?

Google 在构建机器学习模型的同时并行开发其芯片已有远超 15 年的时间,比这份名单上的任何其他公司都更有经验3。

证据就在 Google 自己关于其芯片——张量处理单元(TPU)——的同行评审工作中。2023 年发布的第四代 TPU 芯片,运行速度比 Nvidia A100 快 1.2 倍到 1.7 倍,同时功耗低 1.3 倍到 1.9 倍4。以吞吐量范围的低端对比功耗范围的中点,这意味着在相同的服务成本下可多产出 80% 的 token5。

如果这一优势一直延续到今天,那么 Google 完全可能以比同行低 44% 的成本提供 token,同时保持相近的利润率。这也能解释为什么 Google 的数据中心建设规模相对于其较小的云业务而言如此不成比例6。

Google 在这方面已不再孤单。每个负担得起定制芯片的实验室现在都在自研芯片。微软的 Satya Nadella 在 2026 年 10 月推出 Maia 300 时表示:

“从下一个日历年开始,我们将把 Maia 系列扩展到数吉瓦级的部署规模,使其成为我们自身产品和服务的主要推理系统。我们还将推出 Maia 300,与领先的基于 GPU 的系统相比,它每瓦可多产出 40% 的 token。”7

OpenAI 的首款推理芯片 Jalapeño 更进一步。在 SemiAnalysis 的 InferenceX 测试套件上针对 Nvidia 的 GB200 和 GB300 进行测试,它每瓦吞吐量高出 1.5 倍到 1.9 倍,端到端延迟低 1.7 倍到 3.6 倍:

“Jalapeño 在吞吐量、能效和延迟方面提供了更好的组合。尽管性能有时按每芯片报告,但我们认为更有用的标准是每单位功耗的性能。”8

随着每瓦智能每六个月翻一番,在 token 的世界里定价应会继续下降,同时利润率保持在 40-70% 的区间,尤其是对前沿模型而言9。


  1. 每项任务成本是运行一项 Intelligence Index 任务的加权平均成本,汇总了 Artificial Analysis Intelligence Index v4.3.2 中十项评估的输入、缓存命中、缓存写入、推理和答案 token 价格,并按每项评估的指数权重加权。来源:Artificial Analysis,检索于 2026 年 10 月。所有模型均在最大推理努力下测量。 ↩︎

  2. Michael Mauboussin 关于价格传递信息的原则:价格内嵌了市场对增长、回报和风险的预期。反转方法从价格出发,推导出其中内嵌的预期,然后将其与你自己的预期进行比较。来源:Michael Mauboussin,Expectations Investing: Reading Stock Prices for Better Returns,expectationsinvesting.com。 ↩︎

  3. Google 于 2013 年启动 TPU 项目,同年它预测深度神经网络可能使数据中心计算需求翻倍,并于 2015 年将首款芯片部署到自家数据中心,比 2016 年 5 月公开宣布早了一年多。此后该项目已出货七代,2025 年达到 TPU v7(Ironwood)。15 年的说法从项目启动算起,对比的是本比较涵盖的实验室,当时它们都没有可比的定制芯片工作。来源:Norman P. Jouppi 等,“In-Datacenter Performance Analysis of a Tensor Processing Unit”,ISCA 2017,以及 cloud.google.com。 ↩︎

  4. Norman P. Jouppi 等,“TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings”,ISCA 2023,arXiv:2304.01433。对于规模相近的系统,作者测得 TPU v4 比 NVIDIA A100 快 1.2 倍至 1.7 倍,同时功耗低 1.3 倍至 1.9 倍。在与 H100 的对比中,作者写道,这款 700W 部件“2022 年在 AWS、Azure 或 Google Cloud 上均不可用”,并且“合适的 H100 对标产品应是在相近时间框架和技术下部署的 TPU v4 后继者”。这些数据是 Google 自己的测量结果,并非独立验证。 ↩︎

  5. 每 GPU 小时美元对应的 token 数是吞吐量倍数与功耗倍数的乘积,因为功耗决定了每小时成本。80% 这一数字使用已公布吞吐量范围的低端(1.2 倍)除以已公布功耗范围的中点(1.5 倍),得到 1.2 × 1.5 = 1.80。应用于完整的已公布范围,同样的计算跨度为 1.56 倍至 3.23 倍,即每美元多出 56% 至 223% 的 token。因此,这一估计基于一个范围的中点,而非实测的服务结果,并假设 v4 时代的优势在后续几代中持续存在,且两款芯片在系统层面具有可比的总拥有成本。 ↩︎

  6. 尽管 Google 的云业务规模大约只有微软的 37%,但其资本支出却超过了微软。Google 将 2026 年全年资本支出指引上调至 1800 亿至 1900 亿美元,而微软约为 1200 亿美元,Alphabet 通过 320 亿美元的债券发行(包括一只 100 年期债券)为部分缺口融资。来源:The $112 Billion Quarter,2026 年 4 月,依据 Alphabet、Amazon 和 Microsoft 2026 年第一季度财报。 ↩︎

  7. Satya Nadella,X 上的帖子,2026 年 10 月 12 日。Maia 300 是微软第三代定制 AI 加速器,计划于 2027 年部署到数据中心,每机架最多 96 颗芯片。微软尚未发布独立基准测试,40% 这一数字是公司自行报告的,对比的是一组未具名的“领先的基于 GPU 的系统”,推测是 Nvidia。Nadella 还表示,Maia 200 在 Teams 和 Copilot 中每瓦 token 数最高提升 1.7 倍,但未说明比较基准。 ↩︎

  8. OpenAI,“Jalapeño的首批结果显示其在AI推理方面具有行业领先的速度和效率”,2026年8月25日,报告了在OpenAI工程师在场的情况下,于SemiAnalysis的InferenceX套件上测得的、涵盖GPT-OSS 120B、DeepSeek R1 670B和Kimi K2.5 1T的结果。OpenAI按已公布的封装功耗进行了归一化,并报告Jalapeño的持续功耗处于或低于550W,而额定值为700W。有三点需要注意:比较对象是Blackwell代的GB200/GB300,而非同样采用HBM4并于2026年开始向客户出货的更新的Vera Rubin平台,这使得Rubin成为更同类可比的测试;Jalapeño运行的是单token预测,而一些Nvidia基线使用了多token预测,这使在同等基础上的优势缩小到约1.5倍;并且该基准衡量的是单位功耗的性能,而非总拥有成本,不包括主机处理器、冷却、网络、软件和利用率。SemiAnalysis参与了测试,并因此称与Blackwell的比较“有些不完整且不公平”。 ↩︎

  9. Google AI基础设施首席技术官Amin Vahdat,在2026年10月与Sonya Huang一起参加的Sequoia Capital Training Data播客中表示:sequoiacap.com。Vahdat说,每瓦智能的大部分提升来自模型侧的改进,而非硅芯片,并且他的团队被要求大约每六个月将有效服务容量翻一番,该容量以token生成而非原始FLOPS衡量。该集章节标题为“每六个月将token容量翻一番,以及收益究竟来自哪里。”40-70%的利润率区间是本文的估计,而非他的估计,并且token定价的方向是一种预期,而非经过测量的预测。 ↩︎

来源:Tomasz Tunguz · tomtunguz.com