跳到正文
arXiv cs.AI· Manav Kulshrestha, Shreyans Jain, Apoorva Vashisth, Ankush Gupta, Damon Conover, Aniket Bera·· 10 小时前AI 评分31

LAGR:面向任务抓取的语言感知抓取重排序方法

LAGR: Language-Aware Grasp Re-Ranking for Task Oriented Grasping

AI 导读

LAGR 是一种面向任务抓取的语言感知抓取重排序方法,先由视觉-语言输入生成任务无关的抓取候选及物理可行性分数,再用语言条件重排序器对所有候选联合打分。作者构建了覆盖 100,911 个图像-任务对、17 个物体类别的 268 万条 5-DoF 抓取标注数据集,LAGR 比次优方法高出 9.3 个百分点,并在 Franka Research 3 机器人上完成真实物体任务抓取验证。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:抓取是机器人操作的一项基本能力,合适的抓取方式取决于下游任务。例如,锤子用于锤击时应握住其手柄,而在递交给他人时应握住其头部。选择这样的抓取需要考虑两个标准:在物体上的物理可行性以及任务适用性。开发这样的方法需要在真实观测上具有可行性和任务得分的密集抓取标签,但现有的面向任务的抓取数据集规模小、为合成数据或标注成本高昂。为填补这一空白,我们构建了一个数据集,包含来自 $17$ 个物体类别的 100,911 个图像-任务对上的 268 万条带评分的 5 自由度抓取标注。此外,我们提出了 LAGR,一种显式应对这两个挑战的面向任务的抓取检测方法。给定视觉-语言输入,LAGR 首先生成与任务无关的抓取候选及其物理可行性得分,然后通过一个语言条件重排序器对生成的抓取进行评分,该重排序器对所有候选进行联合推理。实验表明,LAGR 比次优方法高出 9.3 个百分点。我们进一步通过使用 Franka Research 3 机器人执行面向任务的抓取,在真实物体上验证了 LAGR。
评论: Manav Kulshrestha 和 Shreyans Jain 对本工作贡献相同
主题: 机器人学(cs.RO);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23858 [cs.RO]
  (或 arXiv:2611.23858v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23858

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Manav Kulshrestha [查看电子邮件]
[v1] 2026年11月18日星期三 05:04:12 UTC(9,727 KB)

来源:arXiv cs.AI · arxiv.org