arXiv cs.AI· Yibo Wen, Han Liu·· 3 天前AI 评分38
Autonomous Science Bench：评估 AI 智能体的自主科学发现能力
Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery
AI 导读
研究团队推出 Autonomous Science Bench，包含六个基于已发表实验的预算受限 design-build-test-learn 任务，覆盖生物学、化学和材料科学。
正文 · AI 翻译
摘要：用于自主科学发现的 AI 智能体必须在有限预算下决定运行哪些实验。大多数科学智能体基准测试提供固定数据集，而其他支持主动实验的基准测试则大多依赖模拟。我们推出 Autonomous Science Bench，这是一个初始版本，包含六个有预算限制的设计-构建-测试-学习循环，基于生物学、化学和材料科学领域已发表的实验。智能体选择成批的设计方案，从实验室服务接收测量结果，并利用这些结果指导后续实验，最后交付一个预测模型。成功需要通过两个校准关卡：发现关卡，评估智能体所测量的设计；学习关卡，评估其模型对留出设计的排序。在针对八种智能体-模型配置、144 次试验的初步评估中，最佳配置在 67% 的试验中成功，而最困难的循环在 24 次尝试中仅被解决 3 次。这两个关卡揭示了不同的弱点：一些智能体能构建准确的排序，但找到的有前景设计太少；另一些智能体能找到有前景的设计，但无法预测哪些未见过的设计会表现良好。仅凭总体成功率会掩盖这些差异。我们在 此 https URL 发布循环、实验室运行时和公开排行榜的 0.1 版。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18449 [cs.AI] |
| （或 arXiv:2610.18449v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18449 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yibo Wen [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 14:18:56 UTC（158 KB）
来源：arXiv cs.AI · arxiv.org