跳到正文
RadarAI· The Decoder:AI News(RSS)·· 1 天前AI 评分71

Google Gemini 4 Argon 在 ARC-AGI-3 达 97.5%,数学与软件工程仍落后前列

Google Gemini 4 Argon 在 ARC-AGI-3 达 97.5%,但仍落后数学与软件工程前列

AI 导读

Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 取得 97.5%,成本 4800 美元,成为继 OpenAI 之后第二家越过 95% 的实验室,但仍低于 GPT-6 Astra 的 99.9%。

正文 · AI 翻译

The Decoder:AI News· Matthias Bastian·2026-10-16 23:03· 18 分钟前AI 评分74

Google 的 Gemini 4 Argon 比数月来任何 Google 模型都更接近 AI 前沿

AI 导读

Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 取得 97.5%,成为继 OpenAI 之后第二家越过 95% 的实验室,成本 $4,800,但仍低于 GPT-6 Astra 的 99.9%。

正文

Google Deepmind 是第二家通过 ARC-AGI-3 基准测试 95% 的主要 AI 实验室。但据 Epoch AI 称,结果在很大程度上取决于测试方法,且 Argon 在数学和软件工程方面落后于竞争对手。

Google Deepmind 的新前沿模型 Gemini 4 Argon 在 ARC-AGI-3 上得分 97.5%,成本为 $4,800,使用的是 "Provider Adapter Harness",一种利用供应商特定功能(如保留推理和上下文压缩)的测试设置。据 ARC Prize 称,Google 现在是继 OpenAI 之后第二家在被广泛认为是最难的通用问题解决基准测试中越过 95% 门槛的 AI 实验室。只有 GPT-6 Astra 得分更高,为 99.9%。

Punktdiagramm zur Anzahl der benötigten Aktionen in 25 öffentlichen Spielen von ARC-AGI-3 im Vergleich zwischen menschlicher Baseline, GPT-6 Astra, Gemini 4 Argon und dem Speedrun-Rekord.
在 ARC-AGI-3 的 25 个公开游戏中,Gemini 4 Argon(黄色)和 GPT-6 Astra(蓝色)所需的操作次数都比人类基线(紫色)少 62%,并且常常接近速通纪录(红色)。| 图片:ARC Prize

与 Astra 一样,Argon 在 25 个公开游戏中所需的操作次数比人类基线少 62%。它在三个游戏中追平或打破了速通纪录,并在另外六个游戏中达到最佳时间的 10% 以内。在该基准测试的旧版本上,Argon 在 ARC-AGI-2 上得分 91.3%(每任务 $0.32),在 ARC-AGI-1 上得分 98.5%(每任务 $0.16),基于每百万输入 token $2 和每百万输出 token $10 的 introductory 价格。

Zeitverlauf-Diagramm des Epoch Capabilities Index (ECI) von Januar 2025 bis Januar 2027, das Gemini 4 Argon bei 165 Punkten knapp unterhalb der führenden Frontier-Modelle einordnet.
在 ARC-AGI-3 的 25 个公开游戏中,Gemini 4 Argon(黄色)和 GPT-6 Astra(蓝色)所需的操作次数都比人类基线(紫色)少 62%,并且常常接近速通纪录(红色)。| 图片:ARC Prize

基准测试结果在很大程度上取决于测试设置

在 "Standard Harness" 中,只允许回合之间进行简单笔记,Argon 在低推理下降至 49.8%,成本为 $5,800。这一差距可追溯到 2026 年 7 月的一场争议,当时 OpenAI 的 GPT-5.6 Sol 使用两个 API 设置在 ARC-AGI-3 上击败了 Claude Opus 5。

GPT-5.6 Sol 在标准环境中仅取得 7.8%,该环境在每次操作后丢弃内部推理,并使用缺少较新 Claude API 功能的旧接口。这意味着 Claude 是在与 GPT-5.6 不同的条件下接受测试的。当使用 OpenAI 自己的 Responses API 进行测试时,包括 "Retained Reasoning" 和智能上下文 "Compaction",该模型跃升至 38.3%,击败了 Opus 5 的 30.2%。OpenAI 认为,基准测试也总是衡量技术环境。ARC Prize 联合创始人 Francois Chollet 随后允许使用通用的、公开可用的 API 设置。

API 问题还导致 Argon 无法完成标准测试框架中的全部 55 款游戏,据测试人员称。在低推理强度下,系统完成了 42 款游戏(49.8%),中等强度下完成了 46 款(46.3%)。在最高强度下,它只完成了 19 款游戏,因此 ARC Prize 没有公布分数。报告的结果仍覆盖全部 55 款游戏,因为其中包含了中止运行的部分得分。

Argon 缩小了差距,但在数学和编程方面落后

研究机构 Epoch AI 也追踪了谷歌的进展。Argon 在 Epoch 能力指数(ECI)上得分 165 分,与 Fable 5.1 持平,仅次于 Opus 5.5(167 分)和 GPT-6 Astra(166 分)。ECI 将 50 多个基准测试整合为一个单一的能力量表,类似于 Artificial Analysis 构建其主要评分的方式。

Diagramm des ARC-AGI-3-Leaderboards, das die Punktzahl in Prozent im Verhältnis zu den Kosten in US-Dollar für Gemini 4 Argon und Konkurrenzmodelle wie GPT-6 Astra zeigt.
ECI 得分为 165 分,谷歌距离由 GPT-6 Astra(166 分)和 Opus 5.5(167 分)引领的当前 AI 前沿,比自 2026 年 2 月 Gemini 3.1 Pro 以来的任何时候都更近。 | 图片:Epoch AI

Argon 大幅领先 Gemini 3.8 Flash(157 分),使谷歌比自 2 月 Gemini 3.1 Pro 以来的任何时候都更接近榜首。Artificial Analysis 和 Vals.ai 此前已证实这一趋势。

不过,性能因领域而异。据 Epoch AI 称,Argon 在多项知识、智能体和视觉基准测试中领先,但早期估计显示其在数学 ECI 上排名第八,在软件工程指数(SWE ECI)上排名第六。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问以及评论区访问权限。

来源:The Decoder:AI News · the-decoder.com

来源:RadarAI · aihot.news