腾讯混元联合复旦、清华发布 ExplorationBench 基准

新研究：我们发布 ExplorationBench，一个用于衡量 AI 系统如何探索的基准。 科学发现始于已知问题的尽头：系统必须提出假设、设计实验，并从结果中学习。评估这一点很难。真正全新的答案无法被快速检验，而在熟悉的领域里，模型只需回忆它见过的东西即可。 为应对这一挑战，来自 Tencent Hy、复旦大学和清华大学的研究人员构建了可验证的 Alien Worlds。其规则可执行，因此每个答案都能被精确检验；同时它们与熟悉的知识相冲突，因此仅靠回忆无法解决这些任务。 🔹 两个沙盒：AlienCode（31 处隐藏规则改动，70 个任务）和 AlienLogic（24 条修补后的推理规则，70 个定理） 🔹 一本有缺陷的手册、四轮自行设计的探测，以及每轮之后的闭卷测试 🔹 每个答案都由解释器或证明检查器评分，没有 LLM 评委 我们在 10 个前沿 AI 系统中的发现： 1️⃣ 获得反馈比独自思考更有效。没有任何 AlienCode 运行一开始能超过 15.7%；四轮之后最佳达到 89.0%，而在相同轮数下没有反馈则停留在 0.5–11.0%。 2️⃣ 设计实验很重要。重放系统自己最好的探测会得到完全相同的证据，但在 AlienCode 中，10 个系统里有 9 个表现不如它们自己选择探测时。 3️⃣ 知道规则不等于使用规则。即使每条所需规则都被正确陈述，任务也只有 73.4% 的情况下被解决。 4️⃣ 单一分数掩盖了很多信息。同一系统在相同预算下最终成绩从 5.7% 到 79.0% 不等，而且排名在两个世界之间几乎无法迁移。 CL-bench 问的是模型能否从上下文中学习。ExplorationBench 问的是它们能否自己发现规则。 📄 论文：https://arxiv.org/abs/2609.30199 🌐 网站与排行榜：https://explorationbench.com 📝 博客：https://explorationbench.com/blog/ 💻 代码（即将发布）：https://github.com/Tencent-Hunyuan/ExplorationBench