arXiv cs.CL· Tianyun Zhong, Wei Wang, Jialin Li, Jianhong Tu, Liyao Li, Chuqiao Kuang, Tianshi Zheng, Songchi Zhou, Weiqi Zhai, Qile Jin, Jiajia Li, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Shiwei Ye, Bing Zhao, Hu Wei, Lin Qu, Xianpei Han·· 11 小时前AI 评分45
SCI-AGENT-EXAM：面向科研任务的智能体基准测试
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks
AI 导读
研究者推出 SCI-AGENT-EXAM，一个面向科研工作流的基准，含 11 个科学领域、7 类研究任务的 120 个专家精选任务，要求智能体同时产出代码脚本与报告文本。评测采用程序化验证加专家校准 LLM 评判的混合协议，10 个前沿 LLM 智能体中 GPT-6 Astra 总分最高达 80.9，但仅 26.0% 的运行超过 0.95 成功率阈值。
正文 · AI 翻译
作者：Tianyun Zhong、Wei Wang、Jialin Li、Jianhong Tu、Liyao Li、Chuqiao Kuang、Tianshi Zheng、Songchi Zhou、Weiqi Zhai、Qile Jin、Jiajia Li、Jiasheng Zheng、Boxi Cao、Yaojie Lu、Hongyu Lin、Shiwei Ye、Bing Zhao、Hu Wei、Lin Qu、Xianpei Han
摘要：大语言模型（LLM）智能体在支持科研工作流方面的能力日益增强，但其在各类研究活动中的能力仍难以系统评估。现有基准往往聚焦于选定的科学能力或任务类型，限制了对科学智能体在真实科研工作流中优势与不足的全面刻画。我们提出 SCI-AGENT-EXAM，这是一个面向工作流的基准，包含 120 个由专家精心策划的任务，覆盖 11 个科学领域和由科学工作流任务分类法（SWTT）定义的 7 种研究任务类型。每个任务既需要可执行产物（如代码和脚本），也需要文本产物（如报告和解释）。为评估异构的任务输出，我们开发了一种混合评估协议，将针对可执行产物的确定性程序化验证与针对文本产物的经校准、由专家验证的 LLM 评判器相结合。除结果评估外，我们还沿执行轨迹分析进展与解稳定性，以刻画智能体如何得出最终结果。对 10 个前沿 LLM 智能体的实验揭示了显著性能差距：GPT-6 Astra 取得最高总分 80.9，但其仅 26.0% 的运行超过 0.95 的成功阈值。进一步分析揭示了不同科学任务类型下各具特点的能力画像，以及执行效率与稳定性的显著差异。我们的代码和数据可在 this https URL 获取。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32441 [cs.CL] |
| （或本版本的 arXiv:2610.32441v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.32441 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianyun Zhong [查看邮箱]
[v1]
2026年10月23日星期五 10:06:55 UTC（1,917 KB）
来源：arXiv cs.CL · arxiv.org