arXiv cs.AI· Manav Kulshrestha, Apoorva Vashisth, Damon Conover, Aniket Bera·· 2 天前AI 评分24
TGrasp6D:用视觉语言先验与位姿优化实现零样本任务导向 6DoF 抓取
TGrasp6D: Task-Informed Vision-Language Priors and Pose Refinement enable Zero-Shot Task-Oriented 6DoF Grasping
AI 导读
TGrasp6D 是一种基于视觉语言的方法,可在零样本条件下为给定任务和单张 RGB-D 图像生成任务导向的 6DoF 抓取。它先推理任务对应的语义可供性与物体几何生成任务先验,再通过 6DoF 位姿优化在避免碰撞的同时保持任务一致性。
正文 · AI 翻译
摘要:任务导向抓取(TOG)已成为实现有目的机器人操作的一项重要技能。给定用刀“切面包”的任务,机器人必须选择从刀柄处抓取;而对于“把刀递过去”,则最好让刀柄保持无遮挡,以便安全交接。当前的 TOG 方法要么聚焦于 2D 平面抓取,要么受限于对任务无关抓取生成器的依赖,要么受限于依赖有限的、人工标注的、任务特定的抓取数据集,而这些数据集无法覆盖所有可能的抓取-任务组合。为此,我们提出了 TGrasp6D,一种基于视觉语言的方法,用于以零样本方式生成任务导向的 6DoF 抓取。给定一个任务以及相关物体的一张 RGB-D 图像,TGrasp6D 会推理给定任务和物体几何形状所对应的合适语义可供性,以生成初始的任务知情先验。该生成的先验通过 6DoF 位姿优化进一步细化,以在保持任务一致性的同时避免碰撞。我们的方法在 TaskGrasp 数据集上达到了 94% 的最先进成功率,而最佳基线为 74%。我们还将我们的方法部署在 Franka Research 3 机器人上,以展示对真实世界物体的零样本泛化能力
| 主题: | 机器人学(cs.RO);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.20901 [cs.RO] |
| (或 arXiv:2610.20901v1 [cs.RO] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.20901 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Manav Kulshrestha [查看电子邮件]
[v1]
2026年10月14日星期三 20:31:36 UTC(3,573 KB)
来源:arXiv cs.AI · arxiv.org