arXiv cs.AI· Ming Zhang, Zhenghao Xiang, Peizhong Gao, Yujiong Shen, Yuhui Wang, Zhonghan Yue, Shihan Dou, Zhangyue Yin, Junjie Ye, Shichun Liu, Weihuang Zheng, Jiahao Chen, Jiayi Chen, Hongzhang Liu, Jiaqi Shao, Tao Gui, Qi Zhang, Xuanjing Huang, Suncong Zheng, Maxm Pan·· 9 天前AI 评分27
ExplorationBench：在可验证的 Alien Worlds 中衡量 AI 系统的探索能力
ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
AI 导读
研究者提出 ExplorationBench，用规则可执行、与常识冲突的 Alien Worlds 来评测 AI 的探索能力，包含 AlienCode（31 个发现目标、70 个任务）和 AlienLogic（24 个发现目标、70 个任务）两个沙盒。
正文 · AI 翻译
作者：Ming Zhang、Zhenghao Xiang、Peizhong Gao、Yujiong Shen、Yuhui Wang、Zhonghan Yue、Shihan Dou、Zhangyue Yin、Junjie Ye、Shichun Liu、Weihuang Zheng、Jiahao Chen、Jiayi Chen、Hongzhang Liu、Jiaqi Shao、Tao Gui、Qi Zhang、Xuanjing Huang、Suncong Zheng、Maxm Pan
摘要：科学发现始于已知问题终结之处。在那里，AI 系统必须进行探索：提出假设、设计实验，并根据结果迭代。然而，评估这种能力十分困难：（1）如何验证一个真正全新的假设是否成立；（2）如何判断一个系统是通过探索发现了它，还是仅仅从预训练数据中回忆起了相关知识。为此，我们提出了 ExplorationBench，它将评估科学探索这一棘手问题转化为一个具体且可处理的框架，该框架建立在可验证的 Alien Worlds 之上：其规则是可执行的，因此每个答案都能被精确检查；同时它们与熟悉的知识相冲突，因此仅靠回忆无法解决任务。该基准包含两个沙盒：AlienCode（31 个发现目标，70 个任务）和 AlienLogic（24 个发现目标，70 个任务）。每个沙盒都提供一份有缺陷的手册、针对任务的环境反馈以及专用的工具调用模式。系统利用这些资源探索沙盒，然后解决留出的任务。我们评估了 10 个 AI 系统，发现最强的系统能够习得并应用不熟悉的规则，而不同轨迹之间的表现差异很大，持续探索可能会停滞甚至逆转先前的进展。ExplorationBench 朝着能够在未知环境中通过探索习得并应用真正新知识的 AI 系统迈出了一步。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.30199 [cs.AI] |
| （或 arXiv:2609.30199v2 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.30199 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Ming Zhang [查看邮箱]
[v1]
2026年9月24日星期四 17:37:14 UTC（5,363 KB）
[v2]
2026年10月8日星期四 07:21:47 UTC（5,363 KB）
来源：arXiv cs.AI · arxiv.org