arXiv cs.CL· Talor Abramovich, Gal Chechik·· 10 小时前AI 评分31
AblationBench：评估 AI 实证研究中的消融实验自动规划能力
AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research
AI 导读
研究者推出 AblationBench 基准套件，用于评估语言模型智能体在 AI 实证研究中的消融实验规划能力，包含 AuthorAblation（83 个实例）和 ReviewerAblation（350 个实例）两项任务，并配套基于 LM 的自动评判框架。
正文 · AI 翻译
摘要：语言模型智能体正越来越多地被用于自动化科学研究，但评估其科学贡献仍是一项挑战。获得此类洞见的一个关键机制是消融实验。为此，我们推出了 AblationBench，这是一套用于评估智能体在实证 AI 研究中消融规划任务的基准测试套件。它包含两项任务：AuthorAblation 帮助作者根据方法部分提出消融实验，包含 83 个实例；ReviewerAblation 帮助审稿人在完整论文中找出缺失的消融实验，包含 350 个实例。针对这两项任务，我们开发了基于语言模型的评判器，作为自动评估框架。我们使用前沿语言模型进行的实验表明，这些任务仍然具有挑战性，表现最佳的语言模型系统平均仅能识别出 45% 的原始消融实验，低于人类水平。我们观察到作者任务与审稿人任务之间存在相反的绩效趋势，并将其归因于模型依据的差异。最后，我们分析了当前语言模型在这些任务上的局限性，并发现思维链提示优于基于智能体的方法。我们的数据可在 此 https URL 获取，代码可在 此 https URL 获取。
| 评论： | EMNLP 2026 Findings；项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2507.08038 [cs.CL] |
| （或 arXiv:2507.08038v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.08038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Talor Abramovich [查看电子邮件]
[v1]
2025年7月9日星期三 12:07:38 UTC（1,760 KB）
[v2]
2026年1月31日星期六 13:22:50 UTC（2,299 KB）
[v3]
2026年6月1日星期一 08:32:26 UTC（2,489 KB）
[v4]
2026年11月6日星期五 15:07:38 UTC（2,487 KB）
来源：arXiv cs.CL · arxiv.org