跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 22 小时前AI 评分38

YC 创业公司 Synthetic Sciences 发布 FrontierML 基准,5 个前沿模型均未达强结果线

AI 导读

YC 创业公司 Synthetic Sciences 发布 FrontierML 基准,用于评测 AI 智能体自主开展实证 ML 研究的能力,测试的 5 个前沿模型在其 25 个开放式问题上无一达到强结果线。每个任务中目标被隐藏,智能体需在 Lab0 用 12 小时和 H100 GPU 自行构建进度代理并校准其可信度,最终提交的模型或方法在 held-out 评估上打分。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-19 13:34· 1 小时前AI 评分51

AI 导读

YC 创业公司 Synthetic Sciences 发布 FrontierML 基准,评测 AI 智能体在自主实证 ML 研究上的能力,作者称测试的 5 个前沿模型无一在其 25 个开放式问题上达到强结果线。每个任务中目标被隐藏,智能体在 Lab0 获得 12 小时和 H100 GPU,需自行设计进度代理并校准其可信度,最终提交的模型或方法在 held-out 评估上打分。

正文 · 原文

Synthetic Sciences 是一家 Y Combinator 创业公司,它推出了 FrontierML,这个基准难到其测试的 5 个前沿 AI 模型在其 25 个 ML 研究问题中的任何一个上都没有达到强结果线。

他们隐藏了每个目标,因此智能体必须构建自己的测试,并决定在多大程度上信任这些测试。

这是一项测试,检验 AI 智能体能否在从未见过自己将被评分的分数的情况下,独立开展机器学习研究。

每个智能体获得 12 小时和真实 GPU,并且必须自行摸索如何衡量进展。

FrontierML 将每个任务作为一个循环运行,目标始终不可及:

智能体获得一个开放式 ML 问题和在 Lab0 的 12 小时
它设计一个用于衡量进展的本地代理指标
它在 H100 上运行实验,并校准该代理指标的可信程度
它提交一个模型或方法
FrontierML 在 held-out 评估上对其打分

Synthetic Sciences 认为,第 3 步正是大部分实证研究发生的地方。在这里,很大一部分分数取决于它。

引用Synthetic Sciences (YC W26)@SynScience

推出 FrontierML,一个用于评估 AI 智能体在自主实证 ML 研发方面能力的基准。

现有的大多数 ML“研究”基准都会给智能体一个验证集或验证器,其评分与最终分数高度一致。而在实践中,人类研究者很少拥有这样的条件。实证研究的很大一部分内容是决定如何衡量一个问题的进展,以及对这些衡量结果有多信任。

在 FrontierML 的 25 个开放式问题中,智能体必须通过自己的实验将进展操作化,构建本地代理指标并校准其可信程度,同时朝着一个它们从未直接观察到的目标努力。它们提交的模型或方法随后会在 held-out 评估上打分。

在 X 查看被引用的帖子

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news