跳到正文
RadarAI· X:ARC Prize (@arcprize)·· 2 天前AI 评分62

ARC Prize 公布 Gemini 4 Argon 的 ARC-AGI-3 标准 harness 测试结果

AI 导读

ARC Prize 公布 Gemini 4 Argon 在 ARC-AGI-3 标准 harness 下的测试结果:低推理得分 49.8%,完成 42/55 局;中推理 46.3%,完成 46/55 局;高推理仅完成 19/55 局,因此未公布分数。

正文 · AI 翻译

ARC Prize· @arcprize · X·2026-10-16 00:22· 52 分钟前AI 评分53

AI 导读

ARC Prize 发布 Gemini 4 Argon 在 ARC-AGI-3 标准 harness 下的测试结果,低推理得分 49.8%(完成 42/55 局),中推理 46.3%(完成 46/55 局),高推理仅完成 19/55 局故未公布分数。

正文

除了在使用提供商适配器 harness(该 harness 保留不透明推理并支持自动压缩)时在 ARC-AGI-3 上表现出色外,Argon 在使用标准 harness(该 harness 使模型能够在回合之间延续笔记)时的高分也值得关注。

然而,我们遇到了 API 问题,导致无法使用标准 harness 完成测试:

  • 低推理:49.8%,在 55 个游戏中完成了 42 个游戏的运行
  • 中推理:46.3%,在 55 个游戏中完成了 46 个游戏的运行
  • 高推理:仅在 55 个游戏中完成了 19 个游戏的运行,因此我们没有公布分数

公布的分数包含全部 55 个游戏,保留了未完成运行所获得的部分分数。

我们使用当前每百万 token 输入 2 美元 / 输出 10 美元的 introductory pricing 来计算成本。

完整结果:https://arcprize.org/results/google-gemini-4-argon

来源:ARC Prize · x.com

来源:RadarAI · aihot.news