跳到正文
arXiv cs.AI· Changxuan Fan, Zhongwei Xie, Boyi Zhang, Shaoli Hu, Chang Xu, Xiyu Ren, Yufei Li, Qiao Xiao, Huihao Jing, Kawai Chung, Wenbin Hu, Hongyu Luo, Lingyun Xie, Yisen Gao, Chunyang Li, Haoyu Huang, Wuganjing Song, Yuxuan Liu, Chiu Yeung Tang, Fangneng Zhan, Xi Yang·· 4 小时前AI 评分42

RoboTeam:实时多机械臂视觉多智能体控制基准

RoboTeam: Benchmarking Vision-Based Multi-Agent Control of Many Robot Arms in Real Time

AI 导读

RoboTeam 是一个模拟基准,让智能体仅凭摄像头图像实时控制 4 至 16 台机械臂,完成 36 项需协同的长任务。在最灵活的自适应系统中,gpt-6.1-sol 和 opus-5.5 分别完成 28 和 27 项任务,其余四个模型最多完成 3 项;但典型任务耗时 3.5 小时、消耗 2.18 亿输入 token,且三分之一步骤至少失败一次需重试。

正文 · AI 翻译

作者:Changxuan Fan、Zhongwei Xie、Boyi Zhang、Shaoli Hu、Chang Xu、Xiyu Ren、Yufei Li、Qiao Xiao、Huihao Jing、Kawai Chung、Wenbin Hu、Hongyu Luo、Lingyun Xie、Yisen Gao、Chunyang Li、Haoyu Huang、Wuganjing Song、Yuxuan Liu、Chiu Yeung Tang、Fangneng Zhan、Xi Yang

查看 PDF HTML(实验性)

摘要:多模态智能体如今可以通过调用工具和编写代码来控制机械臂。现有基准在三个方面存在不足:大多数只在短任务上测试一两条机械臂,许多在智能体思考时暂停世界,还有许多直接给出物体的真实位置。我们提出 RoboTeam,这是一个模拟基准,智能体仅凭相机图像即可实时控制 4 到 16 条机械臂。其 36 项任务都是机械臂必须协同完成的长时任务,例如传递木料或用数百个方块拼出一幅图。我们从最灵活的智能体系统——自适应系统入手,其中一个智能体决定何时分叉出委派智能体。使用该系统,gpt-6.1-sol 和 opus-5.5 分别完成 28 项和 27 项任务,另外四个模型最多完成 3 项。但代价高昂:一项典型任务需要 gpt-6.1-sol 花费 3.5 小时和 2.18 亿输入 token,且其三分之一的步骤至少失败一次并必须重试。随后我们将其与三种固定系统进行比较:单智能体、分层式和去中心化。四者完成的任务数量相近,但在时间和 token 上存在差异。分层式和去中心化系统更快,但最多使用 1.9 倍的 token;单智能体使用的 token 更少,但耗时是 1.6 倍,因此自适应系统介于两者之间。即便如此,目前还没有任何模型或系统能同时做到快速、廉价且可靠。RoboTeam 在早期基准无法衡量的方面测量了这些极限:长时多臂任务、仅使用相机图像,以及永不暂停的世界。
评论: 17 页,15 幅图,10 张表,含附录
主题: 机器人学(cs.RO);人工智能(cs.AI)
引用为: arXiv:2611.22138 [cs.RO]
  (或 arXiv:2611.22138v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22138

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Changxuan Fan [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 03:24:06 UTC(4,291 KB)

来源:arXiv cs.AI · arxiv.org