arXiv cs.AI· Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang·· 2 天前AI 评分42
Sci$\Pi$vot：科学 AutoResearch 智能体关键决策时刻的首席研究员判断基准
Sci$\Pi$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI 导读
研究者构建了 Sci$\Pi$vot，一个基于人类纠正记录的 248 例科学判断基准，源自资深研究员六个月内在 26 个项目上对 LLM 智能体的反复干预。在提供项目记录的中等推理强度下，五个前沿模型中有四个低于随机水平，最高准确率 63.5%，低于新手的 73.4%；且各模型带项目记录的准确率反而低于不带记录时，重新考虑也未能稳定提升表现。
正文 · AI 翻译
作者：Youran Sun、Xingyu Ren、Chugang Yi、Kejia Zhang、Di Wu、Yingkang Cao、Allen Zhou、Jianping Ye、Suying Liu、Jiaxuan Guo、Jianda Du、Weicheng Ye、Kecheng Liu、Hefan Zhang、Haixin Wang、Jie Xiao、Eric Yang、Haizhao Yang
摘要：大语言模型（LLM）智能体可以在极少人工监督下让科学实验持续运行数月，但可靠的自主研究还需要科学判断力。评估科学判断力很困难，因为研究决策是开放式的，并且依赖于项目背景。我们构建了 Sci$\Pi$vot，一个基于人工纠正的 248 个案例的科学判断力基准。该基准取材于六个月的研究记录，期间资深研究人员在六个科学领域的 26 个项目中运行 LLM 智能体，并反复介入以纠正智能体的研究判断。在每个案例中，智能体在原始 LLM 方案与人工纠正后的替代方案之间做出选择，仅使用纠正之前可获得的项目记录作为背景。我们比较了 LLM 与人类的表现，并考察了推理投入、项目记录可及性以及重新考虑的影响。在中等推理投入并使用项目记录的情况下，模型系统性地偏好原始 LLM 方案而非人工纠正后的替代方案。在所选案例中，五个前沿模型中有四个的表现低于随机水平。在项目条件下，所测试模型和推理投入设置中的最高准确率为 63.5%，而新晋研究人员为 73.4%。在中等投入下，每个模型在有项目记录时的准确率都低于没有项目记录时，且重新考虑并不能持续提升整体准确率。即使存在人工纠正后的替代方案，前沿模型在所选研究决策上仍然表现不佳，而 Sci$\Pi$vot 为 LLM 智能体的科学判断力提供了系统性评估。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21082 [cs.AI] |
| （或 arXiv:2610.21082v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21082 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Hefan Zhang [查看邮箱]
[v1]
2026年10月15日星期四 01:34:44 UTC（126 KB）
来源：arXiv cs.AI · arxiv.org