AItonomy Foundation 发布 Science's Last Exam 科研智能体基准

Rohan Paul· @rohanpaul_ai · X·2026-11-06 03:04· 1 小时前AI 评分49

AI 导读

美国非营利机构 AItonomy Foundation 推出 Science's Last Exam（SLE）基准，用专家预先封存、对智能体隐藏的检查项，评测研究智能体可打开并复跑的研究产物。

正文 · 原文

Lean 给了 AI 数学一个无人能争辩的评分器，而实证科学如今也正在获得这一理念的对应版本。

Science's Last Exam（SLE）是一项基准，它依据可打开、可复跑的研究产物来给研究智能体评分，所用检查项由领域专家在构建每项任务时封存。

该基准由美国非营利机构 AItonomy Foundation 牵头，涵盖 9 个学科的 113 项任务，并用对智能体隐藏的检查项为提交成果评分。

大多数 AI 科学测试提出的问题都有已知答案；SLE 则给 AI 智能体一个研究目标、数据和实验室软件，然后用智能体从未见过的测试来检查其完成的工作。

它依据模型训练截止日期之后发表的研究来给 AI 假设打分，因此记忆帮不上忙。DeepSeek V4.1 Flash 领先，其 21.28% 的假设预见了后续研究。

引用AItonomy Foundation@aitonomyfound

我非常自豪地分享我们在 AItonomy Foundation 一直在构建的东西：Science's Last Exam（SLE）。🧪✨ AI 能做科学吗？我们不采用问答形式，而是给智能体真实的研究目标和现实世界的工具（实验室数据、软件），然后用隐藏的专家检查项为它们评分。深深感谢 34 家机构（哈佛、MIT、斯坦福等）的杰出人才，他们帮助打造了横跨 9 个学科的 113 项任务。❤️ 结果如何？科学很难。在 8 个前沿模型中，最好的得分是 37.5/100。在真正的端到端研究上？全部得 0 分。前方是一段激动人心的旅程！🚀 （Claude Opus 5.5 与 GPT-6 Astra 即将推出——正在清理生物安全防护措施。）一切将于 11 月 6 日开放。🗓️ 🌐 https://sciences-last-exam.org 💻 https://github.com/Gen-Verse/Science-Last-Exam 🤗 https://huggingface.co/datasets/Gen-Verse/Science-Last-Exam 下方推文串介绍该考试如何运作以及模型在哪里失败。👇（1/14） #AGI #AIforScience #AIAgents #SciencesLastExam #OpenAI #Anthropic

在 X 查看被引用的帖子

来源：Rohan Paul · x.com