arXiv cs.AI· Leo Y. Lin, Vishakha Ramani, Z. Berkay Celik, Paul Castro, Marquita Ellis·· 3 天前AI 评分25
ROAR：统一异构 AI 驱动研究系统的运行数据
ROAR: Unifying Runs across Heterogeneous AI-Driven Research Systems
AI 导读
研究团队提出 ROAR，用于系统化统一并分析异构 AI 驱动研究系统（ADRS）的输出。它通过关系型 schema 与解析层归一化不同格式的结果，同时保留数据血缘与时间结构，并支持无需改 schema 接入新系统。基于多个 ADRS 的 900 多次运行语料，ROAR 揭示了相同配置运行可能收敛到不同分数、多数运行早期即获得大部分收益等难以从单一系统观察到的规律。
正文 · AI 翻译
摘要：AI 驱动研究系统（ADRS）的每一次运行都是在庞大解空间中进行的高成本搜索，而可靠的评估需要大量运行，这使得运行数据既难以生成，又值得保留以用于大规模分析。然而这些数据仍然分散：团队各自为战，ADRS 框架以不同格式输出结果，也不存在共享基础设施来跨问题和系统聚合或比较运行。我们提出 ROAR，一个系统性地统一并分析异构 ADRS 输出的解决方案。ROAR 解决两个挑战：协调异构 ADRS 输出，以及支持跨具有不同目标和评分函数的运行进行分析。我们通过关系模式和解析层实现这一点，该层规范化异构 ADRS 输出，同时保留数据血缘和时间结构，并能在无需修改模式的情况下容纳新系统。通过构建包含来自多个 ADRS 的 900 多次运行的语料库，我们展示了汇总数据如何揭示难以观察到的问题景观属性。与先前工作一致，配置相同的运行可能收敛到不同的分数。我们发现许多运行在早期就实现了大部分收益，并且将先前解纳入搜索过程的不同策略的有效性因问题而异。我们进一步通过使用 ROAR 配置 ADRS 运行，表明汇总语料库是可操作的，而不仅仅是分析性的。总之，这些结果说明汇总的 ADRS 数据如何揭示搜索行为中依赖于问题的结构，而这种结构难以从任何单一系统、团队或基准中检测到。当运行仍处于孤岛状态时，这类跨领域洞见难以获得；ROAR 是首个旨在统一它们的基础设施。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.03966 [cs.AI] |
| （或 arXiv:2610.03966v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.03966 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Leo Lin [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 19:21:07 UTC（6,924 KB）
[v2]
2026 年 10 月 13 日星期二 14:44:07 UTC（6,924 KB）
来源：arXiv cs.AI · arxiv.org