arXiv cs.AI· Feng Chen, Jianguo Huang, Yushan Xiao, Yue Li, Bijun Tang, Xuyu Dong, Xingguo Wang, Feiyang Xie, Jianhui Gu, Dongfeng Cao, Hongda Chen, Yongji Gong, Ruiqi Li, Shuxin Li, Xingji Li, Ruitao Lv, Li Song, Lei Wang, Ye Zhang, Xiaoxu Zhao, Xitao Zheng, Bo An, Zheng Liu·· 1 天前AI 评分36
FrontierMat：面向材料研发前沿的语言模型基准测试
FrontierMat: Benchmarking Language Models at the Frontier of Materials R&D
AI 导读
研究团队推出 FrontierMat 基准，包含 330 道源自航空航天、半导体、具身智能与核聚变等前沿学术和工业研究的问题，每题均由领域内实验专家验证。最强通用模型仅得 53.7%，其中 130 道需跨尺度推理，跨尺度题比单尺度题低 8.7 分，半数题目最多只有一个模型能解出。
正文 · AI 翻译
作者：Feng Chen、Jianguo Huang、Yushan Xiao、Yue Li、Bijun Tang、Xuyu Dong、Xingguo Wang、Feiyang Xie、Jianhui Gu、Dongfeng Cao、Hongda Chen、Yongji Gong、Ruiqi Li、Shuxin Li、Xingji Li、Ruitao Lv、Li Song、Lei Wang、Ye Zhang、Xiaoxu Zhao、Xitao Zheng、Bo An、Zheng Liu
摘要：为加速材料发现，语言模型必须能够解决研究前沿的问题。然而，源自教科书和考试的基准主要评估已有知识，对前沿研究问题上的表现基本未加检验。我们推出 FrontierMat，这是一个包含 330 道问题的基准，题目取自航空航天、半导体、具身智能和核聚变等领域的前沿学术与工业研究。每道题都经过该领域顶尖实验科学家和行业专家的验证。每道题呈现一项真实研究，要求模型根据选定的实验证据推断被隐去的结果或得出结论。题目按功能领域、材料体系和主导机制的尺度进行标注；其中 130 道需要跨尺度推理。最强的通用模型仅得 53.7%，在匹配的问题上，跨尺度问题比单尺度问题低 8.7 分。有一半问题最多只有一个模型能解出，而模型失败的主要原因是认可看似合理的内容，而非实际观测到的内容。一项采用元加权持续预训练和尺度模块化自蒸馏的领域适应研究，将开放权重模型从 36.7% 提升至 55.4%，与最强的专有模型持平，在公开材料基准上有所提升，且在通用基准上的总体性能没有下降。FrontierMat 提供了一个测试平台，用于衡量语言模型在支持前沿材料研发方面的进展。
| 评论： | 23 页，4 幅图，13 张表 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7; J.2 |
| 引用为： | arXiv:2610.41162 [cs.AI] |
| （或 arXiv:2610.41162v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.41162 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Feng Chen [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 02:37:21 UTC（536 KB）
来源：arXiv cs.AI · arxiv.org