arXiv cs.AI· Shunchao Zhou, Chang Yang, Jingrui Wang, Shuxin Zhuang, Rundong Wang, Runsheng Yu, Xinrun Wang·· 12 小时前AI 评分38
AlphaIdeaBench：在可行性约束下评测自动研究想法生成，并与同行评审对齐
AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment
AI 导读
研究团队推出 AlphaIdeaBench，包含 100 个想法生成任务（50 个 workshop 征稿与 50 个综述开放问题），每个任务配有明确资源预算和统一提案 schema，由 LLM 评审按有效性、新颖性、可行性共 12 个维度打分。
正文 · AI 翻译
摘要：研究想法总是在资源约束下提出的：一个方案必须适配可用的算力、API 额度和时间。然而，对研究构思智能体的评估大多只评分无约束的新颖性或与已发表论文的重合度，且其 LLM 评判器很少与同行评审进行校验。我们推出 AlphaIdeaBench，这是一个包含 100 个构思任务的基准（50 个研讨会征稿和 50 个综述中提出的开放问题），每个任务都配有明确的资源预算和共享的提案模式。LLM 评判器从有效性、新颖性和可行性三个方面共 12 个维度对每个提案评分。为验证该评判器，我们将其在四个新颖性维度（问题、方法、场景和洞见）上的评分与基于 ICLR 2026、NeurIPS 2025 和 ICML 2025 的 600 篇论文审稿意见得出的评分进行比较。在问题新颖性和方法新颖性上，Gemini 3.7 Flash 在 94-97% 的论文上与审稿人得出的评分相差不超过一分；在场景新颖性上的一致性相对较低。我们在共享骨干上评估了八个已发布的 harness，并在同一 harness 内评估了八个骨干 LLM。CoI-Agent 获得最高总分，略微领先于 SciMON，后者在方法新颖性和洞见新颖性上领先。所有 harness 在场景新颖性上得分都较低，且很少改变问题设定。骨干在很大程度上决定了提案针对哪个开放问题，而 harness 决定了提案是解决一个问题还是组合多个问题。较弱的骨干（如 Llama 4 Scout）无法执行该 harness 的策略，且在预算可行性上得分较低。最后，当仅在三个主题上改变预算时，更大的预算会改变算力密集型主题的实验设置，而在一个低成本主题上只会增加测试。我们发布任务、评分标准和分数，以促进未来研究构思智能体在约束下的标准化、可复现基准测试。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.33644 [cs.AI] |
| （或 arXiv:2610.33644v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.33644 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shunchao Zhou [查看邮箱]
[v1]
2026年10月24日星期六 12:52:49 UTC（2,852 KB）
来源：arXiv cs.AI · arxiv.org