arXiv cs.AI· Bin Shao, Jixiang Li, Xinyue Zhang, Baishun Yang, Zhiyang Liu, Weichao Wang·· 11 小时前AI 评分27
INCARBench：评估大语言模型配置 VASP INCAR 的基准
INCARBench: A Benchmark for Scientific Configuration in VASP INCAR by Large Language Models
AI 导读
研究者提出 INCARBench，用于评测大语言模型在 VASP 输入配置上的生成与修复能力。对 19 个模型配置的评估显示，前沿模型间能力差异显著，语义与策略准确率虽高，但任务关键正确率明显偏低。错误集中在 DFT+U、磁性与关联材料等物理耦合设置，修复评测还表明纠正错误配置与保留已有效配置是两种不同能力。
正文 · AI 翻译
摘要：大语言模型（LLM）正日益被整合到第一性原理计算工作流中，但其配置科学计算的能力仍鲜为人知。在此，我们推出 INCARBench，这是一个用于评估 LLM 在维也纳从头算模拟包（VASP）输入配置方面能力的基准，涵盖配置生成与修复两类任务。对 19 种模型配置的评估揭示了当前前沿模型之间存在显著的能力差异。尽管若干模型在语义与策略准确率上表现较高，但任务关键正确率仍明显偏低，表明参数层面的正确性并不必然意味着配置在科学上有效。失败分析显示，错误集中在涉及 DFT+$U$、磁性与关联材料的物理耦合设置中，这些设置需同时满足多项约束。修复评估进一步表明，纠正错误设置与保留已有效配置是两种不同的能力，而配置保留仍是一大挑战。这些发现确立了科学配置作为大语言模型可度量能力之一的地位，并为开发更可靠的计算材料科学 AI 系统奠定了基础。
| 学科： | 材料科学（cond-mat.mtrl-sci）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.23571 [cond-mat.mtrl-sci] |
| （或 arXiv:2606.23571v2 [cond-mat.mtrl-sci] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.23571 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bin Shao [查看邮箱]
[v1]
2026年6月22日星期一 16:38:42 UTC（2,563 KB）
[v2]
2026年6月23日星期二 04:48:23 UTC（2,563 KB）
来源：arXiv cs.AI · arxiv.org