arXiv cs.AI· Dorian Benhamou Goldfajn, Mason Nakamura, Saaduddin Mahmud, Justin Svegliato, Kyle H. Wray, Shlomo Zilberstein·· 9 天前AI 评分30
RoboTalk：从多模态演示中学习多机器人通信与协调
RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations
AI 导读
RoboTalk 是一个合成数据生成管线与数据集，包含 7,950 条多模态轨迹，覆盖 53 个移动操作厨房任务，用于训练小型 VLM 实现机器人间通信与协调。数据集包含 leader-follower 规划协议、工具调用（感知、操作、导航、通信）、推理轨迹和多样化自然语言通信。开源模型微调后在新任务上成功率达 77%，而未微调模型仅约 2%。
正文 · AI 翻译
摘要：多机器人协作有望为复杂机器人任务带来更高效、可扩展的解决方案，但在部分可观测条件下的协作仍然具有挑战性。自然语言交流为在部分可观测条件下协调机器人提供了一种有前景的方法。然而，在去中心化操作中，针对面向设备端部署的小型视觉语言模型（VLM），从多模态演示中联合学习显式的机器人间通信和技能级动作选择仍未得到充分探索。为填补这一空白，我们提出了 RoboTalk，一个合成数据生成流水线和数据集，包含 7,950 条多模态轨迹，涵盖 53 个移动操作厨房任务，用于训练小型 VLM 进行通信和协调。该数据集包括领导者-跟随者规划协议、工具调用（感知、操作、导航和通信）、推理轨迹以及多样化的自然语言交流。在我们的数据集上微调开源模型可在新的留出任务上达到 77% 的成功率，相比未微调的开源模型（成功率约为 ~2%）有显著提升。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.23997 [cs.RO] |
| （或 arXiv:2609.23997v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23997 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dorian Benhamou Goldfajn [查看电子邮件]
[v1]
2026年9月21日星期一 02:01:04 UTC（4,358 KB）
[v2]
2026年10月8日星期四 16:19:43 UTC（4,358 KB）
来源：arXiv cs.AI · arxiv.org