arXiv cs.AI· Liulei Zhang, Dejing Zhou, Chuyue Huang, Guanhua Chen, Yutong Yao, Lidia S. Chao, Chi Man Vong, Derek F. Wong·· 9 天前AI 评分23
自动化研究如何被评估？一篇基准与评估实践综述
How Is Automated Research Evaluated? A Survey of Benchmarks and Evaluation Practices
AI 导读
一篇被 AACL-IJCNLP 2026 Findings 接收的综述系统梳理了自动化研究系统的评估设计，覆盖文献综述、研究构思、可执行工作流、学术写作与传播、自动同行评审、端到端研究六个目标。该综述比较了任务构建、证据来源、评估者与评分流程，并指出输出检查、过程检查与人类研究提供互补信息，评估者校准因所评属性而异，资源预算与尝试选择是解读性能对比的组成部分。
正文 · AI 翻译
摘要：自动化研究系统支持文献综合、构思、实验、写作和同行评审，但其评估分散在难以直接比较的任务、基准和研究中。我们从评估设计与证据的角度回顾这一文献，涵盖六个目标：文献综合、研究构思、可执行工作流、学术写作与交流、自动同行评审以及端到端研究。我们比较任务构建、证据来源、评估者和评分程序，以解释不同设计所评估的能力。我们的综合强调了三个反复出现的经验：输出检查、过程检查和人类研究提供互补信息；评估者校准特定于所评估的属性；资源预算和尝试选择是解释性能比较的组成部分。我们识别出诊断性评估设计以及支持证据中已记录的空白，并将这些比较转化为针对特定评估设置的报告和审计建议。该综述帮助读者了解现有评估、选择合适的基准并设计后续研究。
| 评论： | 已被 AACL-IJCNLP 2026 Findings 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11877 [cs.AI] |
| （或 arXiv:2610.11877v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11877 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liulei Zhang [查看电子邮件]
[v1]
2026年10月8日星期四 12:50:23 UTC（132 KB）
来源：arXiv cs.AI · arxiv.org