arXiv cs.AI· David Li, Shaamil Karim, Christian Gensbigler·· 10 天前AI 评分37
BioStudyBench：评估 AI 智能体完成知识截止后生物医学研究的能力
BioStudyBench: Evaluating Agents on Post-Cutoff Biomedical Studies
AI 导读
研究者推出 BioStudyBench，包含 25 个长周期分析任务，均取自 2026 年 7 至 9 月发表、晚于被测模型知识截止时间的生物医学研究，由 404,019 条 PubMed 记录半自动筛选而来。
正文 · AI 翻译
摘要：我们评估 AI 智能体能否利用公开数据复现已发表生物医学研究报告的发现。现有评估未能一致地将分析与先验知识或对已发表答案的检索区分开来。我们提出 BioStudyBench，这是一个包含 25 项长周期分析任务的基准，任务取自 2026 年 7 月至 9 月间首次发表的研究，晚于我们所评估模型的开发者报告的知识截止日期，并从 404,019 条 PubMed 记录中半自动筛选而来。在每项任务中，智能体收到一个中性的研究问题但没有数据文件，因此它必须找到并下载相关的公开数据，通过仅返回其截止日期之前记录的文献检索工具搜索文献，并通过数据分析报告发现。为衡量相对于先验知识的增益，我们在有和没有数据与工具访问权限两种条件下运行每项任务。在八个模型中，与无数据基线相比，数据和工具的访问权限平均将通过率提高了 47 个百分点。各规模的开放权重模型均落后于闭源权重模型，最佳开放权重模型通过了 81.3% 的任务，而最佳闭源权重模型为 94.7%。
| 评论： | 已被 AgenticLS（NeurIPS 2026 workshop）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07614 [cs.AI] |
| （或 arXiv:2610.07614v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07614 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：David Li [查看电子邮件]
[v1]
2026年10月6日星期二 02:01:35 UTC（260 KB）
来源：arXiv cs.AI · arxiv.org