arXiv cs.AI· Jicong Ao, Shuhan Jiang, Yuling Zhong, Yanwen Liu, Yuhan Gao, Jiangyuan Zhao, Yang Zhang, Shiqiang Zhu, Chenjia Bai, Xuelong Li·· 10 天前AI 评分33
SMART：通过大规模合成预训练实现零样本仿真到现实的关节物体操作
SMART: Zero-Shot Sim-to-Real Articulated Object Manipulation via Large-Scale Synthetic Pretraining
AI 导读
研究团队提出 SMART 系统，通过仿真平台 SMART-Sim 合成超 100 万条演示数据 SMART-Data，覆盖 44 种原子任务类型、5 种机器人配置和 2,507 个关节物体。基于该数据预训练的 VLA 模型在仿真基准上表现有竞争力，并实现零样本 sim-to-real 迁移，在真实世界关节物体操作任务中展现出可扩展性能。
正文 · AI 翻译
摘要：与铰接物体交互的能力对于具身智能系统至关重要，但由于涉及精确接触和约束跟随运动，为这些交互收集大规模真实世界演示仍然具有挑战性。尽管仿真提供了一种有前景的替代方案，但现有的合成数据工作覆盖的铰接物体类别有限，而通用合成流程缺乏针对部件级语义和铰接约束的明确设计，阻碍了智能体任务生成以及高质量铰接操作演示的可扩展合成。为弥补这一差距，我们提出了 SMART，一个利用大规模合成操作演示进行铰接物体操作的可扩展系统。其核心是我们开发了 SMART-Sim，一个具有铰接感知设计的仿真平台，能够实现高效的任务生成和演示收集。基于 SMART-Sim，我们应用智能体任务生成并设计了一个可扩展的分布式合成系统，利用它们合成了 SMART-Data，包含超过 100 万条演示，涵盖 44 种原子任务类型、5 种机器人设置和 2,507 个铰接物体。在 SMART-Data 上预训练的视觉-语言-动作（VLA）模型在仿真基准上展现出有竞争力的性能，并在真实世界铰接物体操作任务中实现了零样本仿真到现实迁移和可扩展性能。这凸显了合成演示在为提升 VLA 模型在接触丰富的铰接物体操作中的性能提供有效且可扩展监督方面的潜力。
| 评论： | 技术报告，31 页 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07652 [cs.RO] |
| （或 arXiv:2610.07652v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07652 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jicong Ao [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 02:47:22 UTC（44,530 KB）
来源：arXiv cs.AI · arxiv.org