跳到正文
arXiv cs.AI· Alina Avanesyan, Alexey Boldyrev, Liqun Deng, Denis Derkach, Mary Godunova, Mikhail Hushchyn, Dmitry Ilvovsky, Irina Knyazeva, Irina Piontkovskaya, Dmitry Polubotko, Fedor Ratnikov, Ekaterina Trofimova, Zhenhe Zhang·· 10 小时前AI 评分52

STEMBench 发布:用各领域评价标准评测 LLM 的博士后级自然科学问题能力

Benchmarking LLM abilities on postdoc-level natural science problems

AI 导读

研究者提出 STEMBench,用高能物理、天体物理和神经科学三个领域的 12 个研究问题评测 LLM,每个问题按该领域自身的评价标准打分,并配有“无领域知识”和“复现已发表方法的专家参考”两个实测锚点。

正文 · AI 翻译

作者:Alina Avanesyan、Alexey Boldyrev、Liqun Deng、Denis Derkach、Mary Godunova、Mikhail Hushchyn、Dmitry Ilvovsky、Irina Knyazeva、Irina Piontkovskaya、Dmitry Polubotko、Fedor Ratnikov、Ekaterina Trofimova、Zhenhe Zhang

查看 PDF HTML(实验性)

摘要:科学问题没有标准答案,因此评估一个智能体意味着在运行任何智能体之前就要确定什么算作更好的解决方案。现有基准要么将符号答案与标准答案进行匹配,要么在需要可执行工作时,通过单元测试、评分标准或竞赛排行榜上的位置来评分。这些都不是一个领域用来判定一种已发表方法优于另一种方法的标准。STEMBench 直接采用了这一标准。其在高能物理、天体物理和神经科学领域的十二个研究问题,每个都按其所在领域的品质因数评分,并且每个问题都附带两个实测锚点:一个不使用任何领域知识的提交,以及一个复现已发表方法的专家参考,两者均通过运行基准随附的代码获得。它们之间的区间说明了一个问题中有多少部分是由科学洞察而非工程能力跨越的。在八个前沿模型中,任务级胜出与领域级领先出现分离:一个在十二个任务中赢得五个任务的模型,在任何领域均值上都不领先。在高投入的跨模型比较中,至少有一个模型的平均分在十二个任务中的七个上超过了专家锚点。其余五个任务涵盖不确定性估计、潜在与因果推断以及跨站点临床分类。数值分数与官方提交有效性捕捉的是性能的不同方面,并分别报告。我们发布了任务、评分器、锚点和测试框架。
评论: 22 页,7 张表,2 张图
主题: 人工智能(cs.AI);数据分析、统计与概率(physics.data-an)
引用为: arXiv:2611.24321 [cs.AI]
  (或 arXiv:2611.24321v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24321

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Denis Derkach [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 12:25:33 UTC(264 KB)

来源:arXiv cs.AI · arxiv.org