arXiv cs.AI· Ruoyu Wu, Zengji Tu, Aolong Sun, Tianyi Ma, Junren Li, Xinbo Xu, Li Fu, Ziyan Zhang, Pinrui Huang, Xiaochen Wang, Chengda Wu, Yutao Zhou, Jianjun Wu, Lin Chang, Baobao Chang, Liang Chen, Kuan Li·· 13 小时前AI 评分52
PAPERBENCHX：AI 能否跨学科复现科学论文
PAPERBENCHX: Can AI Reproduce Science Across Disciplines?
AI 导读
PAPERBENCHX 是一个包含 93 个专家构建论文复现任务的基准，覆盖电磁学、光子学、化学、材料科学、生物学和机器人等 12 个研究领域，每个任务提供原论文、公开任务说明和含专业科学软件的领域原生环境。
正文 · AI 翻译
作者：Ruoyu Wu、Zengji Tu、Aolong Sun、Tianyi Ma、Junren Li、Xinbo Xu、Li Fu、Ziyan Zhang、Pinrui Huang、Xiaochen Wang、Chengda Wu、Yutao Zhou、Jianjun Wu、Lin Chang、Baobao Chang、Liang Chen、Kuan Li
摘要：在 AI 能够被信任去发现新科学之前，它应当能够复现科学已知的内容。复现为 AI 科学家提供了一个严格的检查点：目标主张是已知的，但要恢复它仍需将不完整的科学描述转化为可执行的实验，并产生可独立验证的证据。现有的研究复现基准主要集中于 AI 和机器学习领域，这些领域的实验共享相对同质的软件栈。将这一能力扩展到各科学学科会带来不同的挑战：智能体必须操作领域特定的科学软件，做出物理和数值选择，诊断长时间运行的计算，并区分有效证据与仅仅看似合理的输出。我们推出 PAPERBENCHX，这是一个包含 93 个专家构建的论文复现任务的基准，涵盖电磁学、光子学、化学、材料科学、生物学和机器人学等 12 个研究领域。每个任务提供源论文、公开任务说明以及涉及专业科学软件的领域原生科学环境。智能体必须重建关键实验、执行并诊断它，并交付一个支持目标科学主张的可运行工作流。为了评估科学有效性而非表面一致性，我们从零重放每一份提交，并仅根据专家验证的标准对重新生成的证据进行评分。在 10 种前沿智能体配置中，最佳配置在 90% 阈值下仅完全复现了 14% 的任务。同时，平均评分标准得分在 27.53% 到 59.08% 之间，表明大量的部分进展很少转化为完整的科学复现。这些结果揭示了论文理解与可靠产生可复现科学证据之间的巨大差距。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39744 [cs.AI] |
| （或 arXiv:2610.39744v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39744 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruoyu Wu [查看邮箱]
[v1]
2026年10月29日 星期四 10:05:50 UTC（6,457 KB）
来源：arXiv cs.AI · arxiv.org