跳到正文
arXiv cs.AI· Alexander Boesgaard Lorup·· 10 小时前AI 评分38

Openhagen Worlds:用于测量与训练科学发现智能体的校准环境

Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents

AI 导读

Openhagen Worlds 推出 27 个程序化生成环境、178 个校准难度等级,用于测量和训练科学发现智能体,每个等级需脚本 oracle 在 64 个开发实例上成功率至少 0.75 才被收录。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从事科学研究的智能体必须选择有信息量的实验,并根据实验结果进行推理,但大多数发现基准无法将这一能力与记忆、未明示的评分规则或捷径策略区分开来。我们提出 Openhagen Worlds,一套包含 27 个程序化生成环境的测试套件(部分环境具有有限真值空间),涵盖从经典实验推理谜题到基于模拟器的物理与化学,智能体在预算约束下运行实验,并提交一个答案,由确定性验证器对照隐藏真值进行检查。每个观测都陈述完整的评分规则,且 178 个难度级别中的每一个都经过校准:只有在 64 个开发实例上,脚本化 oracle 的成功率至少为 0.75、最强的合理非演绎策略成功率至多为 0.25,且每个受门控的捷径策略成功率至多为 0.35 时,该级别才会被接纳。92 个核心级别覆盖全部 27 个族,其规模适合训练小型模型;86 个前沿层级通过更难的问题,以及在一个隐藏系统上进行三阶段、五阶段和八阶段及以上承诺阶段的战役,扩展了 15 个发现世界。在相同的 84 个留出前沿实例上(每个族和层级各一个),DeepSeek V4.1 Flash 在默认推理强度、每次调用 16,384 个 token 下解决了 32 个,在最大推理强度、每次调用最多 393,216 个 token 下解决了 57 个(oracle:79);剩余提升空间在八阶段战役中最大。同策略专家迭代为 9B 模型带来适度增益:其在已训练族上的核心层级成功率从 0.090 升至 0.148,部分归因于更好的动作格式,且在 GPQA Diamond 上未检测到损失。托管服务运行核心层级的留出实例。
评论: 41 页。辅助文件:48 个开发实例的公开样本,包含脚本化 oracle 回合。托管评估:此 https URL
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2611.24711 [cs.LG]
  (或 arXiv:2611.24711v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24711

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Alexander Lorup [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 16:36:18 UTC(326 KB)

来源:arXiv cs.AI · arxiv.org