arXiv cs.AI· Yaolun Zhang, Tianyi Xu, Yujie Zhao, Jishen Zhao, Qingyun Wu, Huazheng Wang·· 11 小时前AI 评分38
EvalResearchBench：AI 智能体能否自建反馈实现递归自我改进？
EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement?
AI 导读
研究者提出 EvalResearchBench（ERB），用于评测 AI 智能体自主设计评估方案的能力：智能体在固定时间与 API 预算下选择或合成任务、实现并修订评分器，最终冻结为可执行评估器。
正文 · AI 翻译
摘要：递归自我改进（RSI）依赖评估反馈来评估进展并指导进一步研究，但反复运行复杂基准测试成本高昂且会拖慢迭代。人类专家通过选择基准子集或设计紧凑测试套件来降低这一成本。我们探究 AI 智能体能否自动化这一设计过程，并推出 EvalResearchBench（ERB），一个用于自主评估研究的基准。给定目标材料、开发参考、候选 API 以及固定的时间和 API 预算，一个名为研究员的智能体选择或合成任务、实现评分器，并在试点测试中修订它们，然后冻结一个可执行评估器，用于编码、协作和推理。我们研究了 9 名研究员和 13 个候选模型，并在分数一致性和成对一致性上将每个冻结评估器与 14 个目标基准进行比较。最佳评估器对约 75\% 的候选对排序与目标一致，低于目标之间分歧所设定的 91\% 上限。没有研究员在每项指标上都领先，且在开发目标上表现最佳的评估器，在研究员不可见的封存目标上并非最佳。由人类设计的公共任务样本仍是一个强有力的基线，而记录执行成本最低的评估器获得了最高的成对一致性。智能体通过试点反馈修复任务和评分器，但其评估器仍可能截断答案、耗尽评估预算，或让少数问题主导某个领域的分数。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.04184 [cs.AI] |
| （或 arXiv:2610.04184v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.04184 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yaolun Zhang [查看电子邮件]
[v1]
2026年10月3日星期六 00:49:27 UTC（10,111 KB）
[v2]
2026年10月16日星期五 04:38:44 UTC（10,111 KB）
来源：arXiv cs.AI · arxiv.org