Epoch AI 报告：AI 推理成本每季度下降约 47%，快于 DNA 测序与算力

关键要点

• AI 的降价速度比历史上任何其他变革性技术都要快。 自 2023 年以来，达到某一给定 AI 性能水平的成本每季度下降约 47%，即每年下降 13 倍。 这一降价速度是 DNA 测序的四倍、算力的六倍、锂电池的 18 倍，并且（在截至 1973 年的那个世纪里）是电力的 54 倍。
• 更粗略的证据表明，自 2021 年 11 月商业 LLM 推理诞生以来——当时 OpenAI 全面发布了 GPT-3——思考的价格至少一直以这样的速度下降。
• 降价速度因领域而异：在基于游戏的谜题上较慢，为每季度 39–43%；在数学问题上较快，为每季度 50–52%。
• 某一给定性能水平的成本，往往在该水平首次实现之后下降最快，也就是说，当它处于最先进（SOTA）水平时。 我们在五个主要 AI 能力基准中的三个上看到了这一模式。 对全部五个基准取平均，刚刚作为 SOTA 首次亮相的性能，其成本每季度下降 66%（每年 75 倍）。 两年后，价格下降速度减半，为每季度 32%（每年 4.7 倍）。

数据和代码在 GitHub 上。 一个叠加页面提供了许多可探索的图表和表格。

概述

“ChatGPT”中的“GPT”代表“Generative Pre-trained Transformer”（生成式预训练 Transformer），这是对其内部 AI 工作原理的技术描述。 不过，OpenAI 的 GPT 模型创造者肯定也在呼应这个首字母缩略词的另一个更古老的含义：通用目的技术。 他们正确地预见到——就像蒸汽机、电力和互联网一样——大型语言模型终有一天会触及社会的方方面面。

如今人们普遍认识到，AI 热潮是一股强大的宏观经济力量，足以推高它所需求的投入品价格：芯片、电力，甚至电工的劳动力。 较少被认识到的是一个看似矛盾的另一方面：所有这些数据中心产出的价格正在以极快的速度下降：

下一张图展示了一些例子。 2025 年 1 月 31 日，OpenAI 发布了其“推理”模型系列的新迭代版本，名为 o3。 我们估计，在平均每个问题 30 美分的成本下，它可以在 GPQA Diamond 上取得 75% 的分数，这是一项涵盖博士级物理、化学和生物学的多项选择题考试。¹ 仅仅不到 18 个月后，OpenAI 发布了 GPT-5.6 Luna。 它取得了同样好的成绩——每个问题仅需百分之四美分（$0.0004）。 这意味着在不到 18 个月里，思考的价格下降了 725 倍。 这就像一辆新车的标价从 50,000 美元降到 69 美元。 历史上似乎没有任何其他通用目的技术变得如此之快、如此之便宜。

为了衡量这些趋势，我们用一个更新、更全面的数据集分析了性能，该数据集包含过去三年中涵盖数学、硬科学和技巧类游戏的五个 AI 性能基准。

在这段时间里，我们发现，达到某一给定性能水平的成本每季度下降约 47%，即每年 13 倍。 我们看到基于游戏的谜题下降较慢，约为每季度 39–43%（每年 7–10 倍），而数学问题的进展更快，为每季度 50–52%（每年 16–19 倍）。

对于给定的性能水平，成本下降确实会随时间推移而放缓，不过这一模式并非普遍适用。 一种可能的解释是：当某一性能水平首次实现时，AI公司可以短暂地对其收取溢价，随后竞争和技术进步会迅速拉低价格。 久而久之，这种动态会放缓。 在五个主要基准测试中取平均值，起初成本每季度下降66%（每年75倍）。 两年后，下降速度减半，为“仅”每季度32%（每年4.7倍）。

我们的分析存在重大局限性。 AI公司可能明确针对某些基准测试训练其模型（“基准刷分”），导致基准测试上的进步超过实际任务的进步。 即使并非如此，在基准测试上表现良好也不等同于有用工作。 由于我们关注前沿——即能够达到任何给定性能水平的最便宜模型——我们隐含地假设了一个AI用户，他会不懈地为每项任务寻找最具成本效益的模型，而真实用户并不会如此频繁地切换模型，因此无法获得同样的节省。 我们的数据不完整且有噪声：时间跨度仅三年，且未包含AI模型与基准测试的所有组合。 不同模型、基准测试、时间段和性能区间的价格下降情况各异，而对此千差万别的经验进行平均有许多合理方法。 总体而言，虽然我们认为我们的底线数字能合理代表现实，但不应将其视为精确值。

本报告其余部分详细介绍了我们的分析。 部分内容较为技术性。

先前工作

我们并非首个量化AI价格下降速度的研究。 Guido Appenzeller为Andreessen Horowitz撰写的2024年文章记录了在GPT-3公开发布后的三年里，LLM成本下降了1000倍，即每年10倍。 几个月后，2025年3月，Epoch AI的分析发现，在六个性能基准上，年降幅为9至900倍。 最近，Demirer、Fradkin和Tadelis（2026）做了类似工作，绘制了2023至2025年间Artificial Analysis Intelligence Index上不同性能水平的价格。

所有这些分析衡量的是能够达到给定性能的模型的每token价格，而非达到该性能的实际成本。 随着推理模型的出现——OpenAI于2024年12月发布o1——忽视这一区别变得更加有问题。 推理模型可以高效地消耗多得多的token，但因此能从更小、每token运行成本更低的底层LLM中提取出良好性能。

2025年9月，Håvard Tveit Ihle在LessWrong上分享了一项分析，直接比较了两套编程挑战的性能与成本。 分析发现，成本每1.4至2个月减半（每年64至380倍）。

迄今为止最详尽的分析是Gundlach等人2026年3月的论文。它同样将实际成本与性能进行比较。 与本分析一样，它估算了全部数据以及在任何给定时间定义成本前沿的模型子集的趋势。 它还按性能水平（高端价格下降更快）和模型类型（开源或闭源、稠密或专家混合）进行了细分。 总体而言，他们发现年降幅为5至10倍。

数据

本分析的主要创新之处在于，采用一种能够捕捉每个模型完整费用-性能连续曲线的方法来分析成本趋势。

如果一个 LLM 能以 1 美元的成本在基准测试中得分 80%，而另一个以 0.50 美元的价格最高只能达到 60%，那么哪个更具成本效益并不明显。 也许更强的模型如果以更少的推理 token 运行，能以比更弱模型更低的成本达到 60%。

更一般地说，我们感兴趣的是绘制成本效益的“帕累托”前沿——即在任何给定时间，从可用模型中达到每个性能水平的最便宜方式。 如果我们只在 LLM 获得无限预算时估算成本和性能，就会留下大片领域未被映射，也可能留下大量前沿未被映射。 任何给定的现代 LLM 都能产生一系列性能水平，这取决于其推理被设置为低、中、高还是最高，也取决于是否施加了预算限制。

描绘模型费用-性能曲线的一种方法是，在各种推理水平和 token 预算下，针对基准测试多次运行该模型。 然而，这个过程既昂贵又缓慢。 相反，我们遵循联邦人工智能标准与创新中心（CAISI）开发的一种程序。 它使用在高（或无）预算约束下运行基准测试所得的记录来预测更紧预算下的性能。 核心思想是，由于基准测试由许多问题组成，人们可以估算 LLM 在消耗给定预算之前能回答多少问题。 记录提供了所需信息：模型在回答每个问题时消耗了多少 token，以及哪些回答正确。²

对于任意给定的每题 X 个 token 的预算，我们统计在少于 X 个输出 token 内正确回答的问题数量。 可以将其视为模型在被强制放弃之前可能产生的最大费用。 当模型未能在特定预算阈值内及时回答时，该问题按猜对的概率计分，例如在四选一选择题中可能是 0.25，在其他类型问题上实际上为 0。 在一系列预算上重复此过程，即可得到作为假设支出函数的性能曲线。

这个过程的一个担忧是，它可能错误估计 LLM 在被告知预算时的实际表现。 如果模型被告知应优化以在某个较低阈值下获得好分数，它们可能会比问题被静默截断（如 CAISI 方法所模拟的那样）时表现更好。

为了检验这一担忧，我们修改了评估，明确告知模型其每题预算。 我们的结果表明，虽然思考模型的高努力版本在预算被公布时通常会改善其低预算性能，但在标准的、未公布条件下，它们并不会优于低努力变体。 也就是说，仅在低思考努力下运行思考模型所产生的费用-性能曲线，与在公布限制下以高思考努力运行所得的曲线相似。 （有关多个模型的示例，请参见图 3。） 因此，只要我们在各种思考水平上使用 CAISI 方法，我们可能就会覆盖模型成本-性能可能性域的大部分。

由于历史上我们的基准测试工作往往侧重于捕捉性能的上限，而极少考虑成本效率，因此我们的数据系统性地缺失了使用较低推理努力和以效率为导向的小型模型的评估。 为避免使结果产生偏差，我们进行了一致的数据收集工作，以填补 FrontierMath 第 1-3 级（v2）、OTIS Mock AIME 2024-2025、GPQA Diamond、Chess Puzzles 和 Mystery Game Puzzles 中的这些空白。 这包括直接运行若干开放权重模型，因为它们可能位于成本与性能的帕累托前沿上，但无法从任何专用推理 API 获取。 为获得这些模型评估的价格，我们使用了其租用硬件的成本，并努力优化硬件选择和评估设置，以在合理延迟的条件下最大化成本效率。 我们通过使用该方法运行五个同样可通过推理 API 获取的开放权重模型来验证我们的方法。 在所有这些案例中，我们的直接成本与 API 定价之间的差异均小于 30%。

建模

挑战

对于每个基准测试，我们有一组三元组 \(({a}_{i},{t}_{i},{c}_{i})\)，分别表示模型在特定运行中答案的准确率、模型的发布日期以及该次运行的美元成本。 正如刚才所解释的，随着假设的 token 限制变化，CAISI 方法会为模型、思考级别和基准测试的每种组合生成许多三元组。

我们希望刻画给定性能水平下的价格下降速率——不是平均模型的价格下降速率，而是“前沿”处的价格下降速率，即能够在基准测试上达到所需性能的最便宜可用模型。

具体而言，我们定义了两个经验帕累托前沿，分别针对准确率和成本。 经验准确率前沿是在给定预算内、使用截至给定日期可用的模型所达到的最高性能：

\[A(t,c)=\max\limits_{i|{t}_{i}\le t,\ {c}_{i}\le c,\ }{a}_{i}\]

经验成本前沿是至少有一个可用模型能够达到或超过给定准确率目标的最低成本：

\[C(t,a)=\min\limits_{i|{t}_{i}\le t,\ {a}_{i}\ge a,}{c}_{i}\]

这些曲面具有二维阶梯特征，因为它们在其任一维度上都会经历不连续的跳跃，且方向始终相同。

用统计模型来表示这些移动的前沿在几个方面具有挑战性：

1. 输出有上界，因为准确率不能超过 100%。 在大多数生产和成本前沿的经济模型中，产出可以任意高。
2. 前沿是在每个点上作为最大值或最小值构造的。 这使其不稳定。 单个基准测试结果——或单个缺失的结果——可能会在数月内显著改变前沿。 大多数统计工作关注的是平均值。 在这种设定下，随着对平均值的估计收敛，每个新增数据点对结果的影响往往小于前一个数据点。 而在研究极值时，极限行为出现得更慢。 因此，我们应当假定经验前沿是“真实”前沿的含噪表示。
3. 因为 #2，采样程序变得更加重要。 例如，如果较新的模型被基准测试的比例更高，这往往会夸大前沿的后期区域。 因为测试模型需要时间和金钱，我们主要测试了在发布日期时看起来接近前沿的模型。 因此采样有些临时性。 这意味着我们没有一个可信、干净的数据生成过程模型。
4. 模型发布在时间上是稀疏的。 推动前沿的模型更是稀疏。 然而即使在没有数据点的日子里，前沿也存在，其确切位置包含信息。 然而，该信息是有限的，因为昨天之前沿是今天之前沿的良好预测器。 换句话说，存在空间自相关。 当像这里一样，前沿由其在网格点集上的值表示时，增加网格分辨率会增加样本量和估计的表观精度，除非适当调整空间自相关。
5. 在研究的时间范围内，变化极其迅速。 大多数生产前沿研究发生在动态性较低的行业，如制造业和农业，在这些行业中更容易想象大量生产者在任何给定时间描绘出前沿。

第2–4项意味着，当我们对前沿建模时，很难产生可信的标准误，从而难以估计统计显著性。 这些总是基于一个大致现实的数据生成过程模型，包括其噪声成分的指定。

当无法通过分析方法估计标准误时，一种常见的应对是自助法。 但即使对这种补救措施，我们也持怀疑态度，稍后将解释。

由于这些原因，我们放弃统计推断的正式范式。 我们借用计量经济学的方法，如逻辑回归和随机前沿分析。 但我们不报告标准误，也不正式检验关于数据生成过程模型中参数值的假设。 我们认为结果应被视为基于最佳可用数据的合理但粗略的测量，针对一个无可争议存在的现象。

模型

我们拟合了五个主要模型到数据，两个到经验前沿，三个到完整的基准测试结果集。 后者中，两个是随机前沿分析的应用。 它们的结果不可信——它们常常暗示前沿向后移动——被 relegated 到附录。

这组模型来自一个快速的探索过程。 在该过程中，出现了几个问题：

• 经验前沿本身应该被建模，还是应该将模型拟合到完整数据集，同时依靠拟合过程找到移动前沿的最佳表示？
• 平滑的、模型预测的前沿应该被期望完全位于经验前沿之外，还是仅仅像最佳拟合线穿过点簇那样近似它？

各种模型代表了对这些问题的不同答案。

在建模问题中有三个变量在起作用：发布日期、支出和基准性能。 很自然地将第三个变量建模为另外两个变量的函数：支出是生产的投入，时间影响生产技术，而性能是产出。 但我们这里最终关注的是成本的决定因素，而不是性能。 经济学中有一个悠久的传统，将生产函数和成本函数视为对偶，并用类似的方法对两者建模。 对偶视角将成本视为时间和基准准确度的函数。

理想情况下，我们对成本下降率的估计不应取决于我们将性能建模为时间和成本的函数，还是将成本建模为时间和性能的函数。 无论哪种方式，我们估计的都是变量之间的相同关系。 一旦我们对一个前沿面拟合了模型，就可以推导出对另一个前沿面的影响。 在实践中，将相同的建模方法应用于这两类前沿面之间存在一些不对称性（或反对称性）。 考虑：在将一条直线拟合到平面上的点时，可以最小化点与直线之间的垂直距离或水平距离，从而得到两个不同的答案。

这里的方法是从两个视角建模，然后从两者中分别推导出对两个因变量——性能和成本——的影响。 基于网络的界面使结果可供浏览。

模型1：帕累托逻辑/最小二乘

思路是对上述经验前沿面拟合平滑曲面。 就像穿过点云的最佳拟合线一样，最佳拟合会在两侧都有真实数据点。 因此，拟合的前沿面在技术上不会包含所有对经验前沿面有贡献的点，但会用于总结它们的整体形状。

对于准确度模型，我们假设在任何给定时间，前沿模型的准确度与对数成本和发布日期相关，具体为：

\[E\left[{a|{x}_{a}}\right]\ =\ \sigma ({x}_{a}'{\beta }_{a})\]

其中 \(\sigma\) 是逻辑 S 曲线函数；\({x}_{a}\) 是控制变量向量——至少包括对数成本 (\(\ln c\))、发布日期 (\(t\)) 和一个常数；\({\beta }_{a}\) 是相应的系数向量；\(E\left[{a|{x}_{a}}\right]\) 是在这些控制变量条件下模型的预期准确度。

参数通过分数逻辑回归（Papke and Wooldridge 1996）估计，其最大化目标与二元结果的逻辑模型具有相同的数学公式，并被重新解释以允许结果值在 0 到 1 之间（含端点）。

对于成本前沿面，我们将无界的对数成本建模为其预测变量的线性函数：

\[E\left[{\ln c|{x}_{c}}\right]=\ {x}_{c}'{\beta }_{c}\]

\({x}_{c}\) 至少包含 \(a\) 的逻辑/逆逻辑变换，记作 \({\sigma }^{-1}(a)\)，以及 \(t\) 和一个常数。 这用普通最小二乘法（OLS）拟合。 由于逻辑变换将 0 和 1 映射到 ±∞，与之前的模型不同，得分为 0 或 1 的样本会从样本中剔除。

这些用于衡量准确性和成本的模型各自在其二维域上拟合一次。 在拟合中，前沿曲面不仅由本报告第二张图中突出显示的那类创纪录数据点表示，还由 \(A(t,c)\) 或 \(C(t,a)\) 在一组网格点上的水平表示。 网格点是以下两项的均匀间隔值：1）发布日期，2）对数成本或准确性。 在时间维度上，网格的分辨率为每 13 天 1 个点，选择该分辨率是为了让数据最早开始的基准（AIME OTIS Mock，应用于 GPT-4，于 2023 年 3 月 14 日发布）大约有 100 个点。 并且网格在每个基准的观测准确性范围内有 100 个点。

由于建模的是整个帕累托曲面，最佳拟合曲面的任何特定切片（例如截至 2026 年 1 月 1 日的成本与准确性）通常不会只是对经验前沿相应切片的最佳拟合。 任何切片中的拟合质量都受到以下目标的约束：在模型结构的约束下，找到所有切片上的最佳整体拟合。

模型 2：包络

这种建模方法是前一种方法的约束版本：

• 它强制理论前沿完全位于经验前沿之外——在建模准确性时位于上方，在建模成本时位于下方。
• 在准确性模型中，一些基准测试会产生 1 的满分。 但基于逻辑斯蒂的包络永远不可能达到 1，因此包络无法包含这样一个完美点。 所以在拟合之前，1 被替换为 \(1-1/2n\)，其中 \(n\) 是模型在形成该数据点时所面临的问题数量，即运行次数乘以每次运行的问题数量（cost_truncated_curves.csv 中的“n_samples”列）。 换句话说，满分被替换为一个数字，该数字代表一半时间所有问题都答对，另一半时间除一个问题外全部答对。

要求包络保持在经验前沿阶梯的所有角落之外（或仅与其接触）构成了对参数的大量非线性约束。 使用序列最小二乘规划（SLSQP）来寻找受约束的最佳拟合。

模型 3：全数据逻辑斯蒂/最小二乘

该模型与模型 1 类似，不同之处在于它拟合的是数据集中的所有测试结果，而不是代表经验前沿的网格点。 虽然该模型在结构上并不专注于前沿，但出于几个原因将其纳入。 该模型的拟合本质上不那么不稳定，因为数据点不是极值。 该方法简单。 并且可以预期它会给出与前沿模型大致相同的答案。 打个比方，我们预期过去 50 年计算机内存价格的下降速度，对于普通内存模块和每个时间点最便宜的内存模块来说大致相同。

非线性模型

刚刚定义的模型是线性的，因为 \(x\) 向量仅由两个预测变量（时间，以及准确性或对数成本）组成。 对于准确性模型，这意味着假设每过一个季度，以及支出每翻一番，都会导致基准准确性的 logit，\({\sigma }^{-1}(a)\)，产生相同的改进。 对于成本模型，它假设每过一个季度，以及准确性的 logit 每增加一个单位，都会对成本产生相同的比例影响。

这些假设并非显然成立。 成本下降在日历时间上可能加速或减速。 在任何给定时间，支出都可能存在收益递减。

为了允许（更多）非线性，所有模型也都以二次变体形式运行。 在准确度模型中，向量 \({x}_{a}\) 增加了 \({t}^{2},\ (\ln c{)}^{2},t\times \ln c\)。 在成本模型中，\({x}_{c}\) 增加了 \({t}^{2},\ ({\sigma }^{-1}(a){)}^{2},t\times {\sigma }^{-1}(a)\)。

虽然数学上很自然，但二次模型的一个特点是它们隐含抛物线趋势，并伴随方向变化。 于是，在某些时间或成本水平上，LLM 被预测会随时间推移而变差。 通常，这些不合理的预测出现在数据范围之外或边缘。 但它们仍可能产生难以解释的模型拟合结果。

另一种方法是对每个 \(x\) 变量应用 Box-Cox 变换。 这种变换提供了一系列可能的曲率，同时避免方向变化。 也就是说，它保持每个变量的单调性。 例如，我们会将准确度模型中的预测变量 \(\ln c\) 替换为

\[{\phi }_{{\lambda }_{c}}(c)=\frac{{c}^{{\lambda }_{c}}-1}{{\lambda }_{c}}\]

这引入了指数 \({\lambda }_{c}\) 作为需要估计的额外参数。 Box-Cox 变换对幂变换进行平移和缩放，以赋予其一些良好性质。 当 \({\lambda }_{c}=1\) 时，它就是 \({\phi }_{{\lambda }_{c}}(c)=c\)，因此将线性作为特例包含在内。 当 \({\lambda }_{c}>1\) 时它是凸的，当 \({\lambda }_{c}<1\) 时是凹的。 在 \({\lambda }_{c}\rightarrow 0\) 的极限下，它等于 \(\ln c\)，因此原始的 log-linear 关系被严格推广。

在使用 Box-Cox 变换的模型中，每个预测变量都允许有自己的 \(\lambda\) 指数。 当应用到准确度变量时，该变换应用于优势比 \(a/(1-a)\)。 这样，该变换将 \({\sigma }^{-1}(a)=\ln [a/(1-a)]\) 作为特例包含在内，而这正是“线性”模型中所使用的。 此外，正如在二次模型中一样，两个 Box-Cox 变换项的乘积也作为回归变量输入，其 \(\lambda\) 指数与单独项中的相同。

在 Box-Cox 变换下，\({\phi }_{{\lambda }_{t}}(t)\) 的可能取值取决于“时间零点”的位置。 我们将其定义为 2021 年 11 月 18 日。 在那一天，OpenAI 完全开放了 GPT-3 API 供商业使用，可以说开启了商业 LLM 推理时代。 不同的选择会导致结果有所偏移。

我们注意到术语上的一个复杂之处：Box and Cox (1964) 将“Box-Cox 变换”应用于因变量，以使其分布更接近正态。 这里我们遵循 Box and Tidwell (1962)，将其应用于自变量。 因此，这些回归最好称为 Box-Tidwell。

拟合代码通过两级过程进行最佳拟合搜索。 在上层，在可能的 \(\lambda\) 对空间中进行搜索。 对于每组试验值，在保持 \(\lambda\) 指数固定的情况下，使用与线性模型相同的方法估计其他模型参数。

时间上的指数 \({\lambda }_{t}\) 有时很难估计，尤其是在测试历史较短的基准的成本模型中。 在（较宽的）允许范围 [–8, 8] 内找不到峰值。 这并不奇怪，因为每个基准的数据集时间跨度都很短，使得难以可靠地测量时间上的二阶效应。 当估计以这种方式失败时，代码会强制设定 \({\lambda }_{t}=1\)，退回到线性。

模型之间的偏好

由于我们关注前沿的成本下降，我们倾向于那些拟合前沿而非完整数据集的模型，尤其是成本前沿。 附录中描述的随机前沿模型未能可信地识别出（移动的）前沿。 对完整数据集的简单回归（上文模型 3）并非为识别前沿而设计。

在仅拟合前沿的两个模型中，我们更偏好模型 1，它不受包络经验帕累托曲面的约束。 我们感兴趣的不是某个理论前沿位于何处，而是现实世界中的成本-性能权衡。 我们的数据代表了可用的性能，因为它们基本上涵盖了所有重要模型。 对经验前沿曲面的平滑近似将其棱角分明的轮廓提炼为几个数字。 此外，包络约束可能对准确率接近 1 的观测值产生过大的影响，此时测量中的微小误差可能对模型参数的允许域产生重大影响。

至于模型的阶数，我们偏好 Box-Tidwell。 在 3-D 曲面图 中，许多线性拟合看起来不切实际。 二次模型表现更好，但往往在数据范围边缘出现不切实际的逆转。 Box-Tidwell 拟合更贴近数据，同时由于单调性而看起来更真实。

图 4 和图 5 是首选模型拟合的图形展示示例。 在图 4 中，绘制了五个主要基准中四个的数据点，颜色表示 LLM 的发布日期。 叠加的是半年度经验准确率前沿，以及模型拟合所隐含的相应平滑曲线。 图 5 转而建模成本，并将完整帕累托曲面与其 Box-Tidwell 拟合进行比较。 （注意时间轴的方向。） 实时 3-D 图 是交互式的。 你可以缩放和旋转它们以获得透视。

关于自助法

我们建模前沿的策略（模型 1 和 2）在某种意义上是多阶段的：首先我们计算经验帕累托前沿，然后对其拟合参数模型。 在这种情况下，通常会对整个估计过程进行自助法，以构建反映两个步骤中噪声的置信区间。 然而，我们并不确信自助法在这里足够可信，以证明其复杂性是合理的。

问题在于，在标准重采样自助法的每一次迭代中，一些观测值会从完整数据集中被多次抽取，而另一些则完全不会被抽到。 因此，自助经验前沿永远不可能位于全样本前沿之外，只能位于其内部。 从这个意义上说，自助数据生成过程无法合理地模拟真实的数据生成过程。

面对随机前沿分析中的这一问题，Simar and Wilson (1998) 提出了一种替代性自助法：在将模型拟合到完整数据集之后，计算每个生产者相对于模型估计前沿的无效率程度。 然后对估计出的无效率集合进行有放回重采样，并使用新的、模拟的无效率水平来生成自助数据集。 例如，如果某个生产者被估计为 90% 有效，但在一次自助迭代中被赋予 80%，那么其在给定投入水平下的产出将按 \(80\%/90\%\) 进行缩放。

在我们看来，这种方法的缺点在于它假设无效率的分布是同质的（Simar and Wilson 2007，第 278 页）——例如，2023 年与 2026 年大致相同。 如果我们相信将新 LLM 推向市场并选择其进行基准测试的过程在这一时间段内是稳定的，我们会对这一假设更有信心。 但当界定无效率所依据的前沿移动得如此之快、当 LLM 生产者的数量迅速扩张、当我们自己的采样正变得越来越全面时，同质性假设可能严重不成立。 如果确实如此，那么从自助法得出的标准误可能会给人一种虚假的精确感。

结果

平均下降率

我们首先关注对总体成本下降率的估计。 这一一阶矩自然令人感兴趣。 此外，估计它还使我们能够将模型结果与无模型平均值进行验证。

表 1 展示了对平均季度成本下降率的许多估计。 第一个结果列展示了不使用上述任何模型的估计。 在这里，无模型估计是通过对数据空间中一组点上的经验成本下降进行平均而得到的。 具体而言，代码创建了与前面所述用于模型拟合相同的时间和准确度网格。 在每个网格点 \((t,a)\) 处，对于每个基准测试，我们计算随后一个季度的经验前沿成本下降比率 \(C(t+0.25,a)/C(t,a)\)。 然后将每个基准测试的比率进行几何平均，并从 100% 中减去。

在五个主要基准测试中，下降率相当接近，从 Chess Puzzles 的每季度 43% 到 FrontierMath 第 1–3 级的每季度 53% 不等。 它们的简单平均值为每季度 47%。

以下各列展示了上述成本模型在其线性形式和 Box-Tidwell 变体下的结果。 这些模型作为模型，其缺点是强加了某种数学结构，而这种结构永远不可能完全正确。 另一方面，就这些模型确实正确而言，它们的结果将更为精确。³

在第二列中，我们看到将线性模型拟合到经验对数成本前沿——即对 \(t\) 和 \({\sigma }^{-1}(a)\) 而言是线性的——所产生的结果与无模型结果相当接近。 最大的分歧约为 11 个百分点，出现在科学基准测试 GPQA Diamond 上。

让模型具有更大的灵活性——对时间和准确率优势比进行 Box-Cox 变换，以及二者的乘积——通常能改善与五个主要基准的无模型估计之间的一致性（表格的下一列）。 由于该模型是非线性的，成本下降的速度取决于时间和准确率，因此没有任何一个参数能构成成本下降速度的总体底线。 为了提炼模型的总体含义，我们对与之前相同的成本和准确率网格取平均。 这一次取平均的是模型对每个网格点上成本瞬时下降速度的预测值。 除 Mystery Game Puzzles 外，总体下降速度都更接近无模型数值。 （Mystery Game Puzzles 类似于国际象棋残局题，但属于另一种游戏，其身份被保密，以防止 AI 公司刻意针对该测试进行训练。） 对于五个主要基准，平均下降速度为每季度 47%，与无模型平均值完全一致。

其他模型的拟合结果与刚才讨论的那些存在显著偏差。 要求预测的成本前沿完全包络经验前沿会产生一些不合理的数值，例如 SWE-bench Verified（一种衡量编码能力的指标）为每季度 2.7%（线性）和每季度 7.6%（Box-Tidwell）。 对所有数据（而不仅仅是经验成本前沿上的点）建模（最后两列）也会产生不合理的结果，包括许多意味着成本上升的负号。

表 1. 在准确率固定下的平均季度成本下降速度

所有百分比均为在可用数据年份内，给定基准上给定准确率水平的成本平均季度下降幅度的估计值。 第一个面板的最后一行报告的是简单平均值。 无模型数值是在跨越基准发布日期和准确率范围的网格上取对数空间平均值，后者在每个时间点被裁剪在该基准的最先进水平（SOTA）之内。 在每个网格点上，找到四分之一后至少同样好表现的最低成本，并除以初始成本。 取这些比值几何平均值，并从 1 中减去。 所有线性参数结果都是发布年份作为对数成本解释变量的系数，同样重新表示为季度值。 对于 Box-Tidwell 回归，该统计量按非参数列中的方式计算，使用网格点处模型隐含的瞬时下降速度。 “模型前沿”指将经验前沿建模为在网格点上的实现值。 “模型前沿，要求包络”含义相同，但附加约束：拟合曲面从不高出任何数据点。 “模型全部数据”指用 OLS 对所有运行（而不仅仅是前沿）建模。

成本下降速度的差异

图 4 和图 5 以及 GitHub 页面 上更大的一组图表显示，不同基准在成本与时间、准确率的关系上存在多样性。 其中一些表面上的多样性可能只是将一个灵活模型过拟合到一个在时间或准确率维度上过于狭窄、无法可靠识别二阶模式的样本所产生的假象。 但其中一些很可能是真实的：成本下降的模式可能取决于所衡量的能力。

考虑图 6，它由四个基准的模型预测成本下降率热力图组成。 较浅的色调表示下降最快。 为了让人了解模型在何处超出了数据范围进行外推，图中叠加了阶梯线，以显示数据中任何模型迄今记录到的最强和最弱表现。 对于其中三个基准——AIME (OTIS Mock)、FrontierMath 第 1–3 级和 GPQA Diamond——看来成本在接近最先进性能时下降最快。 一种可以解释这一模式的情景是：当一个定义 SOTA 的新模型出现时，其制造者可以短暂地为此性能收取溢价。 但开源和闭源的竞争者很快赶上，这种性能的价格随之暴跌。 最终这一动态消退，下降放缓，即使以百分比衡量也是如此。

表 2 用数字说明了这一模式。 对于每个基准，它报告了 Box-Tidwell 成本前沿模型下的参数估计值。 在右侧，它列出了当某一给定性能水平首次作为 SOTA 出现时模型隐含的瞬时成本下降率，然后是 1、2、3……直至 8 个季度后的同一数值。 SOTA 首次出现的时刻由前沿准确率对发布日期的辅助逻辑回归估计得出。 而且，再次由于模型是非线性的，瞬时下降率取决于准确率水平。 因此，所显示的统计量是在裁剪到该基准观测准确率范围的均匀准确率网格上的平均值。

在五个主要基准中的三个以及所有次要基准中，成本下降率在 SOTA 首次出现后下降。 在例外情况——Chess Puzzles 和 Mystery Game Puzzles——中，加速仅为几个百分点。 主要基准平均而言，下降率从 SOTA 时平均每季度 66% 降至两年后的 32%。

表 2. 成本前沿的 Box-Tidwell 模型

注：所有估计值均来自在时间和准确度值网格上对帕累托成本前沿的回归，即对数成本对 Box-Cox 变换后的时间和准确度优势比变量及其乘积的回归。 为了估计下降率随某一性能水平成为最先进（SOTA）以来时间的变化，对每个基准进行了一项辅助逻辑回归，以 SOTA 对时间回归，从而估计某一给定性能水平何时为 SOTA。 在 SOTA 首次出现以来的每个时间点，模型隐含的季度下降率（以对数点计）在观测准确度范围内的准确度值网格上取平均。

局限性

尽管价格快速下降这一基本发现无可争议，但我们的具体估计仍存在重大保留意见。

首先，可能存在“刷榜”（benchmaxxing）：即刻意训练 AI 模型在已知基准上表现良好。 我们的主要基准之一“神秘游戏谜题”（Mystery Game Puzzles）旨在通过将所涉游戏保密来缓解刷榜。 在表 1 中，该基准的季度下降率略低于五者平均值，为 44.0%（无模型）或 38.7%（前沿的 Box-Tidwell 模型），而平均值为 47.0%。 这些结果与刷榜批评有效但不致命相一致。

其次，基准是有用工作的不完美代理。 因此，我们的成本数字是 LLM 推理作为服务的市场价值的不完美代理。 接下来，我们将把思维价格的趋势与其他变革性技术（如电力）的趋势进行比较。 然而，对于那些技术，我们有直接的市场价格观测数据。

同样，第三，我们的结果并不完全反映真实经济参与者的体验。 基本上没有用户会永久停留在成本前沿上，检查所有可用模型以找出哪个能以最低成本将每项任务执行到明确定义的性能水平。

第四，三年的数据对于精确测量趋势及其加速和减速而言可能是一个较短的时期。

第五，对近期经验领域取平均有许多方法，没有一种明显最优。 图 7 仅展示了必须面对的选择之一：在准确度维度上取平均时，应在可行范围内的哪些点上取平均？⁴ 这些点应在某个准确度范围内均匀分布吗？ 还是应在准确度的 logit 上均匀分布？ 而且，由于成本前沿通常仅在 SOTA 以下有定义，点集应被裁剪到这一上限，还是在其内缩放？ 该图展示了 GPQA Diamond 基准情况下 2×2 的可能性集合。 在 logit 空间中均匀分布会大量采样并因此加权准确度接近 0 或 1 时的经验。 裁剪到 SOTA 会降低 SOTA 较低时期的权重，而在 SOTA 内缩放则对时间点等权。

如前所述，我们目前采用左上角的选项：在准确度空间中均匀分布，并进行裁剪。 这赋予准确度维度上经验范围更广的时期更多权重，并且不强调性能的极端值。 我们取网格点上（下降率的补数）的几何平均值。 如图所示，这导致底线为每季度 47.0%。 其他选项得出 42.9–58.0%。

最后一个注意事项与前一个有关。⁵ 作为一个概念，“思考的价格”比“电力的价格”更加模糊。 LLM 推理作为一个类别，涵盖了大量且不断演变的服务。 统计学家通过美元链式调整来衡量长期通胀，定期更新用于计算价格指数变化的商品和服务篮子。 同样，在本报告中，通过对不同时间点、基准和性能水平上的瞬时价格下降率取平均，我们实际上是在对各种服务的价格下降进行链式调整。 我们并不是在追踪一个概念上单一的“思考的价格”。

我们拥有价格序列的其他变革性技术则更为同质，或许也更缺乏动态变化。 人类基因组测序作为一种可销售的服务，今天与 20 年前相比，可能相似之处多于不同之处。 一千瓦时电力或电池储能同样如此。 因此，关于这些技术产品和服务的价格趋势的陈述可以更按字面理解。 就此而言，当我们将 AI 的价格下降与我们有价格序列的其他技术的价格下降进行比较时，我们是在拿苹果和橘子作比较。

尽管如此，即便是电力和电池这样的技术类别，也蕴含着同样类型的概念复杂性：产品有多种多样；电力定价至少是一本书的主题（Sen, Sengupta, and Chakrabarti 2015）。 总的来说，我们认为，即使变革性技术的性质根本不同，估计和比较它们的价格也是有意义且有用的。 如何最好地做到这一点，是有待继续研究的问题。

讨论与结论

我们五个主要基准的数据都始于 2023 年（见表 1）。 我们估计，在此后约三年的时间里，思考的价格每季度下降 47%，即每年下降 13 倍。

此外，我们认为，自 2021 年 11 月商业 LLM 推理诞生以来，成本一直以这一速度下降，这是合理的。 如“先前工作”部分所述，早期分析考察的是在给定基准上得分超过阈值的模型的每 token 价格。 根据 Epoch AI 收集的数据，GPT-3 在 MMLU 上得分为 43.9，同时每百万 token 收费 60 美元。 Meta 于 2023 年 7 月 18 日发布的开源权重 Llama 2-7B 得分为 45.3，价格为每百万 token 0.20 美元，复合价格下降率为每年 31 倍。 由于两者都不是推理模型，因此有一定理由相信它们在完成这项任务时消耗了相似数量的 token。 这使得以下观点具有合理性：在 MMLU 上得分 43.9 的真实成本每年至少下降 13 倍。

对于一项变革性技术而言，连续五年每年约13倍的下降速度，很可能是有史以来最快的。 美国住宅用电的平均价格在1892年至1973年间，以相当于每年复合1.05倍的速度下降。 相应的数字是：锂离子电池在1991—2024年间每年1.16倍，计算能力在1940—2001年间每年1.51倍，DNA测序在2001—25年间每年1.84倍。 （来源见本报告第一张图的注释，独立分析见Demirer, Fradkin, and Tadelis (2026)。） 以对数点表示下降率，LLM推理的价格下降速度是DNA测序的四倍、计算能力的六倍、锂电池的18倍、电力的54倍。

我们还观察到，在许多基准测试上，以及在五个主要基准的平均值上，接近SOTA性能的价格下降尤其快：SOTA处每季度66%（每年75倍），两年后每季度32%（每年4.7倍）。

产生这一模式的行业动态超出了我们的讨论范围。 不过，值得注意的是其含义：对于任何给定模型，LLM服务供应中的超常利润可能都是短暂的。 这一事实无疑既是当今AI行业竞赛动态的结果，也是其原因。

有趣的是，报告第二张图中的轨迹表明，SOTA附近最激烈的价格竞争发生在闭源模型之间。 在图中八条轨迹中，只有一条中负责第二个点的模型是开放权重的（QwQ-32B，在AIME上达到25%的性能）。 当然，闭源模型之间在SOTA附近的竞争仍可能受到开源模型压力的助推，因为闭源模型的制造者竞相保持领先。

附录

随机前沿分析模型

本节描述了一对密切相关的模型，它们曾被尝试，但最终被搁置。

在经济学中，一种已确立的建模生产和成本前沿的方法是随机前沿分析（SFA）。 虽然在我们的案例中生产只有一种投入——金钱——但通常SFA模型有多种投入，如资本和劳动，其供给共同受预算约束的限制。 对于给定预算，生产前沿是在可负担的投入组合下，可能产出水平域的外边界。 大多数真实的农场和企业会落在边界之内，因为在任何给定时间，相对于技术极限都存在低效率。 但由于测量不精确——例如一笔大订单在一个月内制造、下个月才发货——有些可能看起来位于前沿之外。

在SFA统计模型中，产出是投入的函数，加上两个误差项。 一个是常规且对称的：它捕捉产出变量中的随机因素，例如企业的产出只是碰巧高或低，或被如此误测。 另一个误差项则独特且不对称：它代表单个生产者的低效率。 由于它以负号进入生产函数（或以正号进入成本函数），它本身始终非负。 例如，一家企业的低效率可能为10%，另一家为20%，但不会有任何一家低效率为–20%。

一个SFA生产模型的形式为

\[y=x'\beta +{v}_{i\ }-{u}_{i\ }\]

对称误差项 \({v}_{i}\) 被假定为围绕 0 呈正态分布，方差为 \({{\sigma }_{v}}^{2}\)。 非对称无效率项 \({u}_{i\ }\) 可以采取多种形式之一；这里假定它独立地服从方差为 \({{\sigma }_{u}}^{2}\) 的正态分布的正半部分。

SFA 生产设定的心智模型是：存在某个代表可能性边界的前沿，虽然有些企业由于测量中的偶然因素而位于其外，但更多的企业位于内侧。 而且由于它们追求效率，当在内侧接近前沿时，企业的密度会上升。 这一图景意味着数据中存在一个清晰但急剧截断的脊。 如果它强烈存在，那么模型拟合可以检测并分离出两个误差项，即偏离理论前沿的两个原因。

在 SFA 传统中，我们的建模情境不同寻常之处在于，输出——基准上的表现——是有上界的。 因此我们估计一个有界变体的 SFA：

\[y_i = \sigma\left(\theta_i + v_i\right) \quad \text{with} \quad \theta_i = x'_i \beta - u_i\]

将其表达为要最大化的目标函数（对数似然）需要对 \({u}_{i\ }\) 进行积分消去。 如果每个企业的无效率 \({u}_{i\ }\) 是已知的而非不确定和随机的，那么 \({u}_{i\ }\) 就可以在模型拟合期间保持恒定，这将是一个标准逻辑模型。 它将通过寻找 \(\beta\) 来最大化所有观测的对数似然之和来进行拟合。 也就是说，它将最大化

\[\ln \mathcal{L}|u:=\sum\limits_{i}^{}\left[{{y}_{i}\ln {\theta }_{i}+\left({1-{y}_{i}}\right)\ln \left({1-{\theta }_{i}}\right)}\right]\]

其中 \(\ln \mathcal{L}|u\) 表示在将所有 \({u}_{i}\) 视为给定时的对数似然。⁶ 由于 \({u}_{i}\) 实际上被假定为独立地服从方差为 \({{\sigma }^{2}}_{u\ }\) 的半正态分布，不以其为条件的对数似然是上述表达式在 \({u}_{i\ }\) 可能取值上的期望值：

\[\ln \mathcal{L}=\sum\limits_{i}^{}\ln \int\limits_{0}^{\infty }d{u}_{i\ }f\left({{u}_{i};{{\sigma }^{2}}_{u}}\right)\exp \left[{{y}_{i}\ln {\theta }_{i}+\left({1-{y}_{i}}\right)\ln \left({1-{\theta }_{i}}\right)}\right]\]

其中 \(f(\cdot ;{{\sigma }^{2}}_{u})\) 是半正态分布下的概率密度。

事实上，所最大化的目标并不完全是这一个。 为了稳定模型拟合，\({u}_{i}\) 被假定为对每个 运行 都相同，即一组数据点全部由一次完整运行通过模拟各种预算上限而合成，依据 CAISI 方法论。 也就是说，\({u}_{i}\) 是一个运行级随机效应。 因此，以 \(r\) 索引运行、以 \(r,i\) 索引单个观测，精确的对数似然为

\[\ln \mathcal{L}=\sum\limits_{r}^{}\ln \int\limits_{0}^{\infty }d{u}_{r\ }f\left({{u}_{r};{{\sigma }^{2}}_{u}}\right)\exp \left({\sum\limits_{i}^{}\left[{{y}_{ri}\ln {\theta }_{ri}+\left({1-{y}_{ri}}\right)\ln \left({1-{\theta }_{ri}}\right)}\right]}\right)\]

这些积分使用（非自适应）求积法进行估计。 为了提高迭代搜索最优参数的精度和速度，我们让 Claude 编写代码，在每组试验参数值处计算 \(\ln \mathcal{L}\) 对所有参数的梯度。

也许并不令人意外，这种巧妙做法最终并未产生令人信服的结果：见表A-1中前两列建模结果。虽然模型拟合在理论上或许能够检测到移动的前沿，但在实践中，前沿似乎移动得太快，而其身后基准测试的分布又过于稀疏，模型无法可靠地区分这两个误差成分。 例如，对于国际象棋谜题基准，模型发现随时间几乎没有进展，这看起来像是一个数学上退化的结果。 其他估计值为负。

还尝试了基础SFA模型的一种变体。 它的灵感来自一种可视化：随着生产前沿在时间-成本空间中快速移动，可用模型（包括所有较旧模型）的分布在其身后越来越分散。 因此，该模型允许\({{\sigma }_{u}}^{2}\)取决于发布日期。 特别地，\(\ln {\sigma }_{u}\)对一个常数和\(t\)是线性的。 这一改动并未改善情况：见同一表中的相关列。

准确率模型

如正文所述，即使成本和时间的任一方都不是模型中的因变量，也有可能提取出二者关系的含义。 表A-1中最后两对列报告了基于准确率前沿逻辑模型的结果，分别不带和带有包络约束。 结果看起来合理。 但尤其是来自线性模型的结果，高于无模型平均值，也高于成本模型中的相应估计值。

表A-1. 在准确率固定条件下成本平均季度下降率，非首选模型

见表1注释。随机前沿分析用半正态的低效分布来建模前沿及其周围运行结果的分布。 在准确率模型列中，准确率是因变量，对数成本是解释变量，因此下降率提取为\(-{\tilde{\beta }}_{t\ }/{\tilde{\beta }}_{\ln c\ }\)，其中\({\tilde{\beta }}_{t\ }\)和\({\tilde{\beta }}_{\ln c\ }\)是模型拟合所暗示斜率的跨网格平均值。

注释

1. 由于这些问题是四选一选择题，可以预期仅靠猜测就能答对其中的四分之一。 这里，75%指的是从该预期最低分到满分之间75%处的分数。 这个数字实际上是81.25%。

2. Artificial Analysis不为其基准测试提供转录文本，因此与Gundlach等人不同，我们无法使用这一数据源。

3. 如果一个二维数据集确实由经典线性模型生成——一条直线加上一个独立误差项——那么通过拟合体现该结构的模型来估计直线斜率，会比计算各点之间的许多斜率并取平均更精确。

4. 这个问题也可以用微积分的无穷小术语重新表述。

5. 我们感谢 Toby Ord 提出的建设性质疑，促使我们阐明这一限定条件。

6. Technically, this moves from assuming \(v_i\) as normal to assuming it has the logistic cumulative distribution function. The normal-based model, the fractional probit, has a clearer theoretical foundation since by the Central Limit Theorem, normal distributions naturally arise as mixtures of partially uncorrelated random processes. But the logistic distribution is widely used in this context, and in practice the distinction rarely matters.