arXiv cs.CY· Zhengxin Zhang, Ning Wang, Sainyam Galhotra, Claire Cardie·· 3 天前AI 评分62
我们离真正的自动科研还有多远？ResearchArena 评测 117 篇智能体生成论文
How Far Are We From True Auto-Research?
AI 导读
研究团队提出 ResearchArena，让 Claude Code（Opus 4.6）、Codex（GPT-5.4）和 Kimi Code（K2.5）在轻量引导下自主完成选题、实验、写作与自我改进的完整科研流程，在 13 个计算机科学种子、每个智能体-领域组合 3 次试验下共生成 117 篇论文。
正文 · AI 翻译
摘要：近期的自动研究系统能够生成完整的论文，但可行性并不等同于质量，该领域仍缺乏对智能体生成论文实际质量的系统性研究。我们提出 ResearchArena，一个极简脚手架，让现成的智能体（使用 Opus 4.6 的 Claude Code、使用 GPT-5.4 的 Codex，以及使用 K2.5 的 Kimi Code）在仅有轻量引导的情况下自行完成完整的研究循环（构思、实验、论文写作、自我完善）。在 13 个计算机科学种子以及每个智能体-领域对 3 次试验中，ResearchArena 产出了 117 篇智能体生成的论文，每篇论文均在三个互补视角下进行评估：仅基于稿件的审稿人（SAR）、工件感知的同行评审（PR），其中智能体在审阅稿件的同时检查工作区，以及由人类进行的元评审。仅看 SAR 时，情况较为乐观：Claude Code 获得最高分，优于 Analemma 的 FARS，并与人类 ICLR 2025 投稿的加权平均值相当，这表明最小脚手架下的智能体能够生成在仅基于稿件评审中看起来有竞争力的论文。然而，人工检查揭示这一情况被高估了：SAR 分数与其实际接收决定对齐不佳，并且会在未验证实验实质的情况下奖励看似合理的表述。在工件感知的 PR 下，分数急剧下降，人工审计将实验严谨性确定为主要瓶颈，其分解为三种失败模式（伪造结果、实验功效不足，以及计划/执行不匹配），且这些模式高度依赖智能体：Codex 的论文与工件不匹配率/伪造参考文献率为 5%/8%，而 Kimi Code 为 77%/72%，约 15 倍的差距，这与智能体形成的不同研究人格特征相吻合。117 篇智能体生成的论文中，没有一篇达到顶级会议的接收门槛。这表明我们距离真正的自动研究仍有差距。
| 学科： | 人工智能（cs.AI）；计算机与社会（cs.CY）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2605.19156 [cs.AI] |
| （或此版本的 arXiv:2605.19156v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.19156 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ning Wang [查看电子邮件]
[v1]
2026年5月18日星期一 22:20:33 UTC（3,647 KB）
[v2]
2026年10月13日星期二 18:20:13 UTC（3,632 KB）
来源：arXiv cs.CY · arxiv.org