arXiv cs.AI· Martin B\"uchner, Adrian R\"ofer, Tim Engelbracht, Tim Welschehold, Zuria Bauer, Hermann Blum, Marc Pollefeys, Abhinav Valada·· 3 天前AI 评分29
MoMa-SG：面向开放世界移动操作的铰接式 3D 场景图
Articulated 3D Scene Graphs for Open-World Mobile Manipulation
AI 导读
MoMa-SG 是一个构建铰接场景语义-运动学 3D 场景图的框架，通过遮挡鲁棒的点跟踪与统一 twist 估计，在单次优化中稳健估计旋转和移动关节参数。研究同时发布 Arti4D-Semantic 数据集，涵盖 62 段真实 RGB-D 序列、600 次物体交互及三种观测范式，并提供容器与内含物体的父子关系标注。在四足机器人和移动操作平台上的真实实验验证了其对日常家居铰接物体的稳健操作能力。
正文 · AI 翻译
摘要：语义场景理解使机器人能够推理并执行由可供性驱动的物体交互。尽管如此，现实世界中的操作仍然从根本上受限于无法预测物体如何移动和铰接。长时程移动操作需要弥合语义、几何与运动学之间的差距。在这项工作中，我们提出了 MoMa-SG，一个新颖的框架，用于构建包含大量可交互物体的铰接场景的语义-运动学 3D 场景图。给定包含多个物体铰接的 RGB-D 序列，我们对物体交互进行时间分割，并使用抗遮挡的点跟踪推断物体运动。我们将点轨迹提升到 3D，并使用一种新颖的统一 twist 估计公式来估计铰接模型，该公式在单次优化过程中稳健地估计旋转关节和棱柱关节参数。接下来，我们将物体与铰接关联，并通过在识别出的打开状态下推理父子关系来检测包含的物体。我们还引入了 Arti4D-Semantic 数据集，该数据集提供了容器与所包含物体之间的父子关系标注，以及跨 62 个野外 RGB-D 序列的物体轴标注，这些序列包含 600 次物体交互和三种不同的观察范式。我们在两个数据集上广泛评估了 MoMa-SG 的性能，并消融了我们方法的关键设计选择。此外，在四足机器人和移动机械臂上的真实世界实验展示了在日常家庭环境中对铰接物体的稳健操作。我们在以下网址提供代码和数据：this https URL。
| 评论： | 第 10 届机器人学习会议（CoRL 2026） |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2602.16356 [cs.RO] |
| （或 arXiv:2602.16356v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.16356 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Martin Alexander Büchner [查看电子邮件]
[v1]
2026 年 2 月 18 日星期三 10:40:35 UTC（21,322 KB）
[v2]
2026 年 10 月 12 日星期一 21:08:07 UTC（34,519 KB）
来源：arXiv cs.AI · arxiv.org