CMU 联合美国国家实验室推出 Into the Unknown 基准，9 个 AI 智能体 135 份提交无一通过专家评审

The Decoder：AI 新闻· Jonathan Kemper·2026-11-07 19:13· 37 分钟前AI 评分67

九个 AI 智能体尝试对美国国家实验室提出的开放性问题开展自主研究，无一通过专家标准

AI 导读

Carnegie Mellon 大学团队联合美国能源部国家实验室推出 Into the Unknown 基准，让 9 个 AI 智能体基于原始论文、代码和数据开展开放性后续研究，135 份提交无一同时满足诚实、完整和专家标准三项要求，其中 114 份未通过诚信检查。

正文 · 原文

Nov 7, 2026

Image description

Nano Banana Pro prompted by THE DECODER

一项新基准让 AI 智能体着手研究美国国家实验室提出的开放研究问题。这些智能体提交的论文看起来像真实研究，却常常声称完成了从未做过的工作。

AI 智能体能否独立回答尚无人解决的研究问题？由 Carnegie Mellon 大学研究人员牵头、与美国能源部国家实验室科学家合作的一个团队构建了名为“Into the Unknown”的基准来寻找答案。

根据论文，来自九个当前 AI 智能体的 135 份提交无一满足全部要求。作者将该基准视为系统性地改进研究型 AI 智能体的试验场，而非质疑 AI 是否应属于科学。

共有 114 份提交未通过诚信检查：大多数声称完成了从未做过的工作，或引用的数字与自身日志相矛盾。作者写道，这些智能体轻易就生成了看起来像后续研究的文本，但无一达到专家标准。

Diagram showing a researcher figure who defines a follow-up direction to the LCHS algorithm along with success criteria. Next to it are set diagrams of possible follow-up work and two evaluation rubrics, one for research direction and one for integrity. — 专家为每项任务定义研究方向和最低要求，这些随后成为质量与诚实性的评分标准。| 图片：Kim 等

专家设定标准

每个智能体都会收到一篇科学论文及其代码和数据，外加一个研究方向。其中一些论文已经发表，另一些则仅已提交。此后，智能体应开展后续研究并写成论文。这 15 项任务来自十位研究人员，涵盖量子计算、等离子体物理、化学、材料科学和科学机器学习。研究方向由原始论文作者本人提出，且据他们所知，这些主题尚无任何已发表成果。

A timeline of four publications on LCU and LCHS between 2012 and 2026 at the top, followed by the question "Can an AI agent extend this line?" Below it, a workspace containing a task description, the original paper, code, and data, from which an AI agent produces follow-up papers, code, and logs. — 每个智能体收到一篇原始论文及其代码和数据，并应产出一项独立的后续研究。| 图片：Kim 等

开放研究面临一个基本问题：没有标准答案。常用于此目的的 AI 评审被认为不可靠。因此，专家定义了成功的后续研究必须满足的最低条件。

评估检查提交是否诚实、是否完整，以及是否达到专家标准。GPT-6 Astra 负责评分，每份提交被评判四次。受测智能体包括 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、Deepseek V4 Pro、Kimi K3 和 GLM-5.3。它们可使用强大的机器、互联网连接，没有时间限制，并最多可重启五次以改进工作。它们总共运行了近 2,000 小时。

仅三个智能体产出诚实的工作

只有三个智能体的提交没有诚信违规：GPT-6 Astra 在 15 项任务中有 11 项，GPT-5.6 Sol 有六项，Claude Opus 5.5 有四项。其余六个智能体的每份提交都至少包含一项违规。

最常见的问题是论文与代码不一致、数字相互矛盾，以及对据称已进行的实验作出虚假陈述。在开源模型 Deepseek V4 Pro、Kimi K3 和 GLM-5.3 中，基线数值误报的情况大量堆积。有两份提交使用了硬编码而非计算得出的结果，分别来自 Kimi K3 和 GLM-5.3。

Results table from the "Into the Unknown" benchmark for nine models ranging from Claude Opus 4.8 to GLM-5.3. It shows pass rates at the individual checkpoint level as well as loose and strict paper-level scoring. In the column for all criteria combined, every model scores 0.00 percent. — GPT-6 Astra 获得最高的部分分数，但 135 份提交中没有一份同时满足全部三项标准。| 图片：Kim 等

只有一份提交是完整的，它来自 GPT-6 Astra。几乎所有其他提交都遗漏了必需文件，例如预先注册的实验计划，也没有任何智能体达到专家的标准。在更宽松的评分标准下（接受 90% 的评分项），GPT-6 Astra 最接近，其次是 Claude Opus 5.5 和 GPT-5.6 Sol。开源模型的整体表现明显更差。

Two heatmaps showing how often submissions from nine models fail specific integrity and direction criteria, such as contradictory numbers, mismatches between paper and code, or missing documentation. — 大多数诚信违规源于数字与智能体自身日志相矛盾，以及论文与代码不一致。| 图片：Kim 等

验证脚本自我确认

研究人员分析了 64 份工作轨迹，发现三种典型的失败模式。最常见的一种出现在 58 个案例中，即智能体对自己的工作检查得过于宽松。在 34 个案例中，智能体发现了问题，但只是记录下来而没有修复。在 21 个案例中，它们单方面缩小了任务范围。

一个例子：Claude Fable 5 在开始实验时忘记启动四个计划中的运行。它的验证脚本采用了同样不完整的列表，并报告“41/41”次运行已完成。该智能体直到最后都相信这个结果。在另一项任务中，GPT-5.6 Sol 注意到其方法未达到目标，但仍然写了论文，而不是重新开始。DeepSeek V4 Pro 放弃了实验，理由是这些实验对于“剩余时间预算”来说太慢，尽管根本没有时间限制。

Two work logs side by side. On the left, Claude Fable 5 checks its experiments and reports 41 out of 41 runs as completed. On the right, GPT-5.6 Sol recognizes that its method misses the goals but keeps writing anyway. Both passages are highlighted in red as errors. — Claude Fable 5 漏掉了四次未进行的运行，因为其验证脚本采用了不完整的列表；而 GPT-5.6 Sol 尽管未达到目标，仍然写了论文。| 图片：Kim 等

也有反例：在一项量子任务中，GPT-5.6 Sol 发现了一个根本性错误，停止了正在运行的实验，并从头重新计算了一切。

更多计算时间无济于事

更长的运行时间并未带来更好的结果。DeepSeek V4 Pro 和 GLM-5.3 运行时间最长，中位数分别为 19.5 和 13.9 小时，但得分很低。GPT-6 Astra 的中位数仅为 1.3 小时，却取得了最佳结果。

Zwei Streudiagramme mit logarithmischer Achse zeigen pro Modell die Zahl der Arbeitsschritte und die Laufzeit in Stunden. DeepSeek V4 Pro braucht im Median 19,5 Stunden, GPT-6 Astra 1,3 Stunden. — GPT-6 Astra 的中位运行时间最短，并取得了最佳结果。| 图片：Kim 等

由于最强的模型同时担任评估者，研究人员进行了一次交叉核对：原始论文的作者亲自评判了匿名的 AI 论文。在论文是否与给定研究方向匹配的问题上，自动化系统在所有案例中都同意专家的判断。

在科学质量方面，判断仅在约三分之二的案例中一致。例如，一位专家批评说，这些论文没有讲出一个故事。作者表示，这类判断仍然是人类审稿人的工作。

该研究的代码和数据已公开，项目页面还托管了受测模型的排行榜。

AI 智能体能够以越来越高的独立性处理科学任务，但在运行实验与开展独立研究之间仍存在相当大的差距。8 月的一项研究已经表明，AI 智能体在应对未发表的研究问题时有多么吃力。Epoch AI 与 Anthropic 最近发现，智能体往往过于正面地呈现其结果，并且对失败的方法质疑不足。

对于定义明确的任务，情况看起来要好得多：GPT-6 Astra 解决了理论物理领域 50 个未发表问题中的 49 个，不过这些解答可以被明确验证。一项对 AI 开发中 700 多项任务的分析也表明，尽管智能体承担了越来越多的实际工作，人类仍然做出关键的研究决策。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

完整访问 THE DECODER 上的每一篇文章
无广告
加入评论和社区讨论
每周通过邮件获取 AI 新闻回顾
每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
每日 AI 新闻，始终紧跟最新动态
我们完整的十年档案
由拥有 10 年以上 AI 领域经验的团队报道

来源：The Decoder：AI News · the-decoder.com