ARE-bench：在真实研究者会话与工作区中评测智能体的科研能力
ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces
研究者提出 ARE-bench，用真实研究者项目中的智能体会话和完整工作区评测科研智能体能否推进进行中的项目。基准含 75 个任务、7 个研究阶段、33 项需求和 150 项子需求，共 1,173 条二元检查项。七个前沿模型中最强者仅 66.2% 的任务通过全部检查项；仅检查交付契约与通用规范时三个模型通过约 69%，加入历史与材料/工作区要求后降至 28.4% 至 40.0%。
作者：Jiahang Lin、Wanying Ren、Wanghan Xu、Huayu Sha、Yang Shu、Zhonghang Lu、Chengjun Pan、Yi Dong、Shichun Liu、Yuyang Hu、Shihan Dou、Honglin Guo、Huijie Lv、Pujun Zheng、Zhe Sun、Yuankai Ying、Yiding Wang、Jiahao Chen、Zhixiong Yang、Dingbo Yuan、Yicheng Zou、Zhecan Wang、Guoxiu He、Xiaoyu Xing、Qi Zhang、Tao Gui、Xuanjing Huang
摘要：研究智能体在基准测试中的得分越来越高，但这些分数并不一定能转化为在持续进行的研究项目中可靠的交付。许多研究智能体基准侧重于独立任务以及相对自包含的工作流程，且工作区干净或经过整理。然而，研究人员要求智能体在持续进行的项目中完成一个步骤，此时请求依赖于此前会话的决策，工作区中包含未完成的文件、过时的版本和失败的尝试。我们提出 ARE-bench，用于评估研究智能体能否在推进持续项目的同时，遵守此前的决策和现有工作区状态，并以真实会话上下文和进行中的工作区为基础。ARE-bench 包含 75 个任务，这些任务基于招募的研究人员自己项目中的智能体会话和完整工作区构建，涵盖七个研究阶段、33 项要求和 150 项子要求，共包含 1,173 个二元检查项。每个任务锚定于一个真实用户请求，保留其要求，并将仍然生效的先前请求总结为背景。完整工作区被重放到该边界，且不做清理，保留先前轮次的产物。每个检查项均根据与意图对齐的评分标准编制，并认可任何有效的解决方案。在七个前沿模型中，最强的模型也仅在 66.2% 的任务上通过所有检查项，而设计与执行阶段对每个模型而言都属于最困难的阶段。当仅检查交付契约和一般规范时，三个模型通过约 69% 的任务，但一旦同时检查历史要求以及材料或工作区要求，通过率仅为 28.4% 至 40.0%。因此，在不考虑这些上下文要求的情况下评估交付，可能会高估研究智能体并掩盖它们之间的差异。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14364 [cs.CL] |
| （或 arXiv:2611.14364v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14364 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shichun Liu [查看邮箱]
[v1]
2026年11月10日星期二 17:21:31 UTC（1,214 KB）
来源：arXiv cs.CL · arxiv.org