跳到正文
arXiv cs.AI· Yuchen Zhang, Taolin Han, Jinghang Wang, Jinxin Wang, Yun Wu, Wai Yuet Chiu, Xiaogang Li, Yuting Fu, Kewei Sun, Jiaxin Li, Qile Jin, Jiajia Li, Ruodan Chen, Qingteng Chen, Jialu Nie, Junchao Li, Yifei Zhang, Chen Zhao, Hu Wei, Lin Qu, Yanni Yin, Bing Zhao·· 4 小时前AI 评分38

SciWorkBench:面向真实科学工作流的智能体基准测试

SciWorkBench: A Benchmark for Real Scientific Workflows

AI 导读

研究者提出 SciWorkBench,一个覆盖生物学、化学、材料科学与物理学的真实科研任务基准,用于评估语言模型智能体能否完成科学家式项目。在 Claude Code 与 Codex 框架下统一评测,表现最好的智能体平均得分仅 57.38。失败分析指出三类工作流层面弱点:难以将科学知识转化为任务步骤、跨模态证据整合薄弱、科学自我纠错能力有限。

正文 · AI 翻译

作者:Yuchen Zhang、Taolin Han、Jinghang Wang、Jinxin Wang、Yun Wu、Wai Yuet Chiu、Xiaogang Li、Yuting Fu、Kewei Sun、Jiaxin Li、Qile Jin、Jiajia Li、Ruodan Chen、Qingteng Chen、Jialu Nie、Junchao Li、Yifei Zhang、Chen Zhao、Hu Wei、Lin Qu、Yanni Yin、Bing Zhao

查看 PDF HTML(实验性)

摘要:语言模型正越来越多地被用作能够规划并执行项目、并通过反馈改进自身行动的智能体。这一转变引出了一个问题:当前的智能体能否完成像真实科学家那样的项目?为考察这一问题,我们提出了 SciWorkBench,这是一个用于评估智能体在生物学、化学、材料科学和物理学领域真实科学任务上能力的基准。SciWorkBench 基于同行评审文献或专家贡献的研究场景构建。我们还提出了一个经领域专家验证的统一科学分析框架,该框架可对 SciWorkBench 中的大多数任务进行分类。每个任务涵盖该框架的一个或多个阶段。我们在统一的执行与评分协议下,评估了 Claude Code 和 Codex 智能体框架中的最新模型。表现最佳的智能体平均得分为 57.38,表明当前智能体在现实科学工作流中仍存在困难。我们的失败分析识别出工作流层面反复出现的三个弱点:难以将科学知识转化为特定任务的流程、跨不同模态的证据整合能力薄弱,以及科学自我纠错能力有限。这些发现凸显了基于工作流的评估对于衡量面向科学研究的可靠 AI 系统进展的重要性。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22490 [cs.AI]
  (或 arXiv:2611.22490v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22490

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Taolin Han [查看邮箱]
[v1] 2026年11月17日星期二 09:46:16 UTC(1,466 KB)

来源:arXiv cs.AI · arxiv.org