开放模型推理市场如今有多大？

我运行时间最长的智能体测试平台一直是构建 Interconnects Dashboard——一个聚合全网关于开放模型采用情况和性能的最佳数据的聚合器。这个仪表盘免费开放，而且正变得相当有用。不过，我们关于开放模型采用情况的所有测量都极其不精确。我们有嘈杂的平台指标、来自初创公司的营销相关指标，以及不完善的公开评测。需要有见识的眼光才能看清趋势走向。这些研究笔记是我目前对现状的最佳近似。

与 Interconnects 上的大多数内容一样，我们的目标是创造远大于我们所获取的价值，因此仪表盘上的数据在可预见的未来将保持免费。这些笔记会比我的许多文章更原始，是一个分享我正在思考但（尚）没有完整证据的地方。它们将主要面向付费读者，让我能更自由地表达。如果你从事 AI 政策或面向政策的研究，请联系我们，我们很可能可以提供折扣或免费访问。

我今天想探讨的主要问题是：开放模型推理的市场有多大？它在增长吗？相对于 OpenAI/Anthropic 来说，它是否只是一个可以忽略不计的零头？

我一直在尽力构建最好的测量，主要使用开放模型推理初创公司 Baseten、Fireworks 和 Together AI 作为风向标（以及 OpenRouter 代币量中开放模型的份额，幸好他们在 API 中报告了这一数据）。超大规模云厂商在这里可能也有重要布局，例如 Amazon Bedrock 和 Azure 的模型花园，但我还没看到他们按模型类别细分使用情况。这些初创公司的命运与开放模型推理这一品类的成功更为直接相关。

关于最新数据，我们可以从我在开放模型经济演讲中的一张幻灯片开始（录像见此处）。这些是开放模型初创公司公开披露的代币量随时间变化的数据，采用对数刻度。

这显示出近乎指数级的增长，随后是GLM 5.2 在开放智能体上的阶跃变化之后出现的上扬。例如，Fireworks 在本周的首届公司大会上宣布，他们每天为客户定制模型提供超过 40T 代币。这只是他们推理业务的一个切片，他们表示这个垂直领域自今年夏天以来增长超过 2 倍，所以我预计当我们获得下一次更新时，他们今年秋天的总数将远超 100T 代币。

我对这些数字的第一反应是，尽可能将它们与任何闭源模型或超大规模公司进行对比，至少就代币量而言。幸好，谷歌在其财报中公布了整个平台和 API 使用的代币量。我们可以将这两个数字叠加在开放模型推理平台之上，得到下图：