跳到正文
Hacker News· kevin_hu·· 7 小时前AI 评分58

Village 研究:闭源模型占据性价比前沿,开源模型仅在 3% 预算区间领先

Closed AI models dominate the price-performance frontier

AI 导读

Village 基于 LLM Atlas 测算各价位上能力最强的模型,发现闭源模型几乎占据全部预算区间,开源权重模型只在 3% 的预算区间是最佳选择,且集中在低价端,由 Google Gemma 4 E4B 和小米 MiMo-V2.6-Flash 占据。

正文 · AI 翻译

Village 的 LLM Atlas 描绘了性价比前沿:每个价位上最强的 AI 模型。

闭源模型几乎占据了所有预算区间

Two scatter plots of LLM Atlas capability score against estimated cost per task, relative to GPT-5 at high effort, for every model released by June 30 and by October 31, 2026, with the price-performance frontier drawn through them. In June, 8 of the 19 points on the frontier were open-weight, including DeepSeek-V4-Flash, GLM-5.2, Gemma 4 E4B IT, Hy3 preview and Llama 3 8B Instruct, and an open model was the best buy at 41% of budgets from 1% to 3 times GPT-5’s cost. By October 31, 5 of 21 were, all in the cheaper half of the frontier (DeepSeek V4.1 Flash, Gemma 4 E4B IT, Llama 3 8B Instruct, MiMo-V2.6-Flash), and the share of budgets fell to 3%.

  • 在 3% 的预算区间中,开源权重模型是最佳选择。这些几乎都集中在低价端,由 Google 的 Gemma 4 E4B 和小米的 MiMo-V2.6-Flash 占据。
  • 6 月时这一比例为 41%。仅 DeepSeek V4 Flash 一款就在近三分之一的预算区间中是最佳选择,智谱的 GLM-5.2 紧随其后。
  • OpenAI 的两次发布夺回了大部分份额。9 月的 GPT-6 Luna 和 10 月的 GPT-6.1 Terra,连同 Anthropic 的 Claude Haiku 5.5,如今覆盖了开源模型曾赢下的预算区间。

开源模型此前也曾在性价比上领先

The share of budgets, spread evenly on a log scale from 1% to 3 times GPT-5’s cost per task at high effort, where the most capable model costing no more than the budget is open-weight, at the end of each quarter from 2024 and on October 31, 2026: Q1 2024 6%; Q2 2024 42%; Q3 2024 19%; Q4 2024 32%; Q1 2025 7%; Q2 2025 7%; Q3 2025 52%; Q4 2025 30%; Q1 2026 26%; Q2 2026 41%; Q3 2026 20%; October 31, 2026 3%.

  • 当前份额是我们测得过的最低值。自 2024 年以来,每个季度末开源模型都至少占据 6% 的预算区间。
  • 峰值来自单次发布。DeepSeek-V3.2-Exp 在 2025 年 9 月发布当周,在近一半的预算区间中都是最佳选择。
  • 但没有一次能持久。每次峰值过后,到下一季度开源份额都会下降约一半或更多,因为闭源实验室推出了更便宜的档位。

开源模型在性价比上呈爆发式取胜:一次强劲而廉价的发布(通常来自 DeepSeek)会占据一大片预算区间,直到下一个闭源模型以更低价格反超。最新的闭源发布在价格和性能上都优于任何开源模型,因此这片区间已收缩到价格范围的最底端。

为何闭源实验室可能在性价比上胜出

有三种解释符合这一模式:

  • 闭源实验室可以蒸馏自己的前沿模型。拥有最强模型的实验室可以在内部用其输出训练更便宜的模型,而如今的廉价闭源档位都在旗舰发布后数周内跟进,正如 Claude Haiku 5.5 在 Claude Opus 5.5 发布两周后推出。开源实验室只能从自己较弱的模型起步,因为闭源实验室的条款通常禁止用其输出训练竞争对手。
  • 闭源实验室发布完整的产品家族。OpenAI 的 GPT-6 和 GPT-6.1 模型,从 Luna、Terra 到 Sol、Astra,合计占据前沿 21 个点中的 11 个,因此一代产品就覆盖了几乎每个价位。
  • 闭源实验室的推理服务成本可能更低。OpenAI、Anthropic 和 Google 以极大规模运行推理,Google 还使用自研芯片,这可以降低每项任务的成本;而大多数开源模型实验室的流量要小得多。

我们如何构建这项研究

本研究使用 Village 的 LLM Atlas,它根据公开基准结果估算每个模型及推理设置的能力分数,并通过独立的成本模型,根据评估者的运行记录估算每项任务的成本,详见其方法论。成本以高推理强度下的 GPT-5 为基准。对于每个日期,我们取截至当时发布的所有模型,在从 1% 到 GPT-5 成本三倍、按对数均匀分布的 201 个预算点上,找出每个点上能力最强的模型。分数截至 2026 年 10 月 31 日;Atlas 会随新结果更新。

成本反映评估者通过托管 API 支付的费用,开源模型在自有硬件上运行可能更便宜。仅限在至少 10 个基准家族上有评分的模型,或将预算区间收窄至 3% 到 GPT-5 成本的一倍,会得到相同模式;将其扩大到 0.3% 到十倍,则当前份额升至 16%,因为极小的开源模型仍在最廉价端胜出。

来源:Hacker News · village.dev