arXiv cs.AI· Kushagra Tiwary, David Mayo, Nikhil Behari, Xiangzhou Sun, Abdulrahman Alabdulkareem, Isaac Galatzer-Levy, Boris Katz, Brian Cheung·· 11 小时前AI 评分38
ArtifactArena：用物理世界中的建造能力评测前沿模型
ArtifactArena: Evaluating Models by What They Build in the Physical World
AI 导读
ArtifactArena 是一个开放式评测平台，让模型在物理仿真竞技场中完成软硬件协同设计挑战——工程化制造可运行的机器人并参赛。平台通过文本描述、物理模拟器反馈和游戏数据三种 harness 对模型进行零样本、验证器引导优化和开放式物理设计能力测试，并以模型产物间头对头锦标赛的 Elo 排名进行基准比较。该框架和锦标赛基础设施开放社区持续提交，旨在构建一个不饱和的活体测试平台。
正文 · AI 翻译
摘要：为了评估前沿水平，我们不能以模型说了什么来衡量，而应以它们在有物理依据的环境中能够设计和构建什么来衡量。我们推出 ArtifactArena，这是一个开放式平台，模型在其中面对一个具有物理依据的软硬件协同设计挑战：设计功能完整的机器人，在模拟竞技场中竞争。我们通过三个测试框架评估前沿模型的零样本能力、验证器引导的改进能力以及开放式物理设计能力，这些框架分别基于文本描述、物理模拟器反馈和游戏数据来改进其机器人制品。我们通过前沿模型制品之间的一对一锦标赛得出 Elo 排名，以此对这些能力进行基准测试。通过发布这一框架和锦标赛基础设施以支持持续的社区提交，我们建立了一个持续运行、不会饱和的测试平台，以持续衡量开放式智能在物理世界中不断扩展的极限。更多信息请访问 此 https URL。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.06511 [cs.RO] |
| （或 arXiv:2610.06511v2 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.06511 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kushagra Tiwary [查看电子邮件]
[v1]
2026年10月5日星期一 15:28:48 UTC（7,125 KB）
[v2]
2026年10月22日星期四 18:05:54 UTC（7,125 KB）
来源：arXiv cs.AI · arxiv.org