arXiv cs.AI· Peng Jiang, Dongyang Li, Quanying Liu, Xiaoxuan Jia·· 3 天前AI 评分34
ResearchFlow-Eval：追踪端到端多主张自动科研中的执行鸿沟
ResearchFlow-Eval: Tracing the Execution Gap in End-to-End Multi-Claim Autoresearch
AI 导读
研究者提出 ResearchFlow-Eval，一个在阶段与主张两个层面评估连续科学执行与迭代的细粒度框架，每项评估以已发表锚点论文为基础生成阶段专属评分标准。对通用智能体框架、技能增强框架及研究专用编排系统的评测显示，实验执行一致落后于设计与规划，重复尝试很少带来可测量的改进，技能增强与研究专用编排均未可靠提升得分。
正文 · AI 翻译
摘要：自动研究系统越来越多地承担完整的研究项目。在实践中，科学研究要求系统通过连续、多阶段的工作流程来追求多个相互依赖的主张，并随着证据的积累修正实验。然而，现有的自动研究系统评估通常只对孤立任务或最终产物进行评分，使得这些过程层面的能力在很大程度上未被衡量。因此，我们提出了 ResearchFlow-Eval，一个在阶段和主张两个层面评估连续科学执行与迭代的细粒度框架。每次评估都以一篇已发表的锚定论文为基础，我们从中推导出阶段特定的评分标准，将每个研究阶段分解为多个维度并分别评分的评分项。使用这些评分标准，我们对每个研究阶段进行评分，并详细考察实验执行情况，重点关注多主张完成情况以及多次尝试中的修正。我们将该评估框架应用于通用智能体框架、技能增强型框架以及具有研究专用编排的系统。在所有被评估的系统中，实验执行始终落后于设计与规划。在执行过程中，系统难以产生高质量结果并满足主张要求，且重复尝试很少带来可衡量的改进。此外，技能增强和研究专用编排都无法可靠地带来更高分数。因此，ResearchFlow-Eval 将自动研究评估从孤立的单目标运行扩展到连续工作流程，在这些流程中系统追求多个主张并在迭代中改进其工作。
| 评论： | 23 页，6 幅图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18088 [cs.AI] |
| （或使用 arXiv:2610.18088v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.18088 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Peng Jiang [查看电子邮件]
[v1]
2026年10月13日星期二 10:09:15 UTC（1,298 KB）
[v2]
2026年10月14日星期三 05:39:11 UTC（1,298 KB）
来源：arXiv cs.AI · arxiv.org