arXiv cs.AI· Ruairidh M. Battleday, Kai Sandbrink, Jimi Cullen-Drohan, Zihan Yan, Timothy Muller, Clare Maguire, Ales Kubicek, Fraser Greenlee-Scott, Sukrit Sumant, Tri Dao, J\"urgen Schmidhuber, Michal Valko, Joshua Tenenbaum, Thomas L. Griffiths, Zeb Kurth-Nelson, James C. R. Whittington·· 13 小时前AI 评分55
DiG-bench：用 70 个规则未知的游戏评测智能体的发现能力
DiG-bench: Discovery in Games
AI 导读
研究团队发布 DiG-bench（Discovery in Games）基准，包含 70 个独立游戏，每个游戏以短字符串编码，其变换规则和关卡通关条件均需通过交互实验发现。基准设七档难度，最低档多个模型可常规解出，最高档对最强模型在智能体框架下构成挑战，全部 70 个游戏均被至少一名人类首次尝试即解出。其中 21 个游戏公开，其余保留私有用于安全评测。
正文 · AI 翻译
作者：Ruairidh M. Battleday、Kai Sandbrink、Jimi Cullen-Drohan、Zihan Yan、Timothy Muller、Clare Maguire、Ales Kubicek、Fraser Greenlee-Scott、Sukrit Sumant、Tri Dao、Jürgen Schmidhuber、Michal Valko、Joshua Tenenbaum、Thomas L. Griffiths、Zeb Kurth-Nelson、James C.R. Whittington
摘要：发现——即提出新的泛化——是科学过程的核心部分。尽管其重要性不言而喻，当前 AI 基准测试领域仍存在空白：很少有基准直接考察在目标未知的受控环境中通过实验发现新知识的能力。为填补这一空白，我们发布了一个新基准：DiG-bench（Discovery in Games，游戏中的发现）。DiG-bench 由 70 个独立游戏组成。每个游戏都编码为一个短字符串，并具有独特的变换规则，必须通过交互和实验来发现。游戏关卡呈现一系列挑战，以检验规则是否已被发现，而每关的获胜条件同样未知。我们为 AI 智能体提供了七个难度层级的游戏。最低层级可被多个模型常规解决，而最高层级则对智能体框架中的最佳模型构成挑战。全部 70 个游戏都至少被一名人类在首次尝试时解决。其中 21 个游戏的子集已公开发布，其余则保持私有以进行安全评估。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.12593 [cs.AI] |
| （或 arXiv:2608.12593v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.12593 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：James Whittington [查看邮箱]
[v1]
2026年8月12日星期三 21:06:06 UTC（820 KB）
[v2]
2026年10月27日星期二 21:28:33 UTC（819 KB）
来源：arXiv cs.AI · arxiv.org