arXiv cs.AI· Shicheng Liu, Krista Opsahl-Ong, Andrew Drozdov, Julian Killingback, Arnav Singhvi, Ronak Pradeep, Michael Bendersky, James C. Dickerson, Monica S. Lam·· 11 小时前AI 评分38
AI 智能体如何自动复现并检验科学发现的分析稳健性
AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery
AI 导读
研究团队构建 SEER-Repro 基准，收录 20 篇基于 SEER 数据库的已发表论文及复现所需数据，并用 LLM 智能体成功复现了 2,190 条原子论断中的 77.4%。配套的智能体分析流水线会识别每项发现背后的分析选择、提出可辩护的替代方案并重跑分析，在完全复现的发现中标记出 9.5% 存在潜在关键分析选择，供专家复核。
正文 · AI 翻译
摘要：可复现且分析稳健的研究结果对科学进步至关重要，但评估这些特性通常需要昂贵的人工投入。我们以基于监测、流行病学和最终结果（SEER）数据库的医学案例研究为基础，该数据库是美国广泛使用的癌症登记库，支撑着数万篇已发表研究，我们据此探究 LLM 智能体能否帮助实现复现与稳健性分析的自动化。首先，我们推出 SEER-Repro，这是一个包含 20 篇已发表的基于 SEER 的论文的基准，并附有复现其研究结果所需的数据和资源。其次，我们创建了一个 AI 智能体，成功复现了 2,190 条原子论断中的 77.4%，同时为进一步分析提供了可执行的基线。第三，我们开发了一个智能体分析流水线，通过识别每项研究结果背后的分析选择、提出可辩护的替代方案，并重新运行分析以确定这些选择是否影响结论，来检验医学研究结果的稳健性。在 SEER-Repro 中的已发表论文中，我们的流水线在 9.5% 的完全复现结果中识别出可能具有重要影响的分析选择，并将其标记出来供专家审查。这些结果表明，LLM 智能体可以通过复现研究结果、系统性地检验其稳健性，并引导专家关注可能具有重要影响的分析选择，来支持科学审查。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23845 [cs.AI] |
| （或 arXiv:2610.23845v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23845 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shicheng Liu [查看邮箱]
[v1]
2026年10月16日星期五 17:57:55 UTC（153 KB）
来源：arXiv cs.AI · arxiv.org