arXiv cs.AI· Jade Choghari, Pepijn Kooijmans, Mansi Agarwal, Yusuf Umut Ciftci, Aseem Doriwala, Catherine Weaver, Mouli Sivapurapu, Kai Yang, Thomas Wolf, Jackson Lee, Pragna Mannam·· 10 天前AI 评分24
FineART：细粒度标注双臂操作轨迹数据集与视觉-语言-动作模型
FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation
AI 导读
研究团队发布 FineART 双臂操作数据集，含 40,543 条轨迹（1,718 小时）、533,913 个子任务，覆盖 151 项任务。
正文 · AI 翻译
作者：Jade Choghari、Pepijn Kooijmans、Mansi Agarwal、Yusuf Umut Ciftci、Aseem Doriwala、Catherine Weaver、Mouli Sivapurapu、Kai Yang、Thomas Wolf、Jackson Lee、Pragna Mannam
摘要：在真实环境中运行的机器人往往需要在长时间跨度内执行复杂的多步骤双手任务，而非单一、孤立的动作。当前的操控数据集对这一能力的支持有限：尽管单臂数据集达到数十万条轨迹，但它们通常每个回合只提供一条高层指令，而现有的双手数据集仅为其录制时长的一部分提供子任务标注。我们提出 FineART，一个密集标注的双手操控数据集，包含 151 个任务中的 40,543 个回合（1,718 小时）和 533,913 个子任务。我们还提出 FineART-VLA，一种视觉-语言-动作策略，它预测自己的下一个子任务来指导其动作。在 FineART 的子任务标注上进行中期训练，将 FineART-VLA 遵循空间指令的成功率从 32.0% 提升到 100.0%。在逐步的人类子任务指导下，对未见过的长时程任务的成功率从 16.0% 提升到 76.0%。此外，FineART-VLA 在仅用 10 倍更少微调数据的新机器人上达到基线性能，并能零样本泛化到未见过的任务。我们开源了完整数据集、模型权重和训练代码。
| Comments: | 26 页。代码和模型权重将集成到 Hugging Face LeRobot 此 https URL |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.36416 [cs.RO] |
| （或 arXiv:2609.36416v3 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.36416 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jade Choghari [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 00:13:29 UTC（5,967 KB）
[v2]
2026 年 9 月 30 日星期三 23:07:44 UTC（5,967 KB）
[v3]
2026 年 10 月 5 日星期一 22:13:07 UTC（5,967 KB）
来源：arXiv cs.AI · arxiv.org