arXiv cs.AI· Chenmu Zhang, Levi Felix, Jun-Jie Zhang, Xingfu Li, Xuelian Jiang, Tao Jiang, Subhendu Mishra, Xixi Qin, Boris Yakobson·· 2 天前AI 评分30
CompMat-Bench：面向计算材料科学的 AI 智能体基准测试
CompMat-Bench: Benchmarking AI Agents for Computational Materials Science
AI 导读
研究者推出 CompMat-Bench，一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准，通过预先复现研究步骤来评估智能体准备输入与分析输出的能力，从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%，更长工作流与减少指导会以不同方式限制不同智能体表现，失败多归因于科学错误而非软件使用错误。
正文 · AI 翻译
摘要：在科学研究任务上评估 AI 智能体受到底层实验或计算所需时间和资源的限制。在计算材料研究中，跨智能体和试验重复相同的昂贵模拟会使评估变得不切实际。我们推出 CompMat-Bench，这是一个包含 94 项任务的基准，任务源自近期发表的计算材料研究，每项任务要求智能体完成朝着实现该研究科学目标迈进的一步。我们预先复现研究步骤，并评估智能体为昂贵模拟准备输入和分析输出的能力，从而在评估期间避免进行昂贵模拟。复现的输入和结果作为真值，用固定规则对智能体评分，无需 LLM 评判。该基准支持四种评估条件：单个任务和由相关任务组成的工作流，每种都提供完整或精简的方法指导。在单个任务上提供完整指导时，基于三个 LLM 的智能体展现出完成单个材料研究步骤的能力，在 94 项任务中的通过率为 66.0-90.4%。更长的工作流和精简的指导都会限制智能体表现，但对不同智能体的影响方式不同：它们会降低较弱智能体的通过率，而最强的智能体只有在长工作流与精简指导相结合时才会下降。失败分析将大多数失败归因于科学错误，而非软件使用错误。CompMat-Bench 为在真实材料研究步骤上比较智能体以及分析智能体失败模式提供了基础。
| Subjects: | 人工智能（cs.AI）；材料科学（cond-mat.mtrl-sci）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.00636 [cs.AI] |
| （或 arXiv:2610.00636v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.00636 arXiv 颁发的 DOI 通过 DataCite |
Submission history
来自：Chenmu Zhang [查看邮箱]
[v1]
2026年9月30日星期三 19:37:09 UTC（275 KB）
[v2]
2026年10月15日星期四 15:11:29 UTC（276 KB）
来源：arXiv cs.AI · arxiv.org