arXiv cs.AI· Anukriti Singh, Kasra Torshizi, Khuzema Habib, Kelin Yu, Ruohan Gao, Pratap Tokekar·· 12 小时前AI 评分32
AFFORD2ACT：仅用稀疏关键点，机器人操作能做到多好？
AFFORD2ACT: How Far Can Sparse Keypoints Go for Robot Manipulation?
AI 导读
AFFORD2ACT 用语言条件 affordance 模型定位任务相关区域，选取最多 15 个物体关键点加 4 个末端执行器关键点，把策略输入压缩到仅 19 个 2D 关键点（38 个坐标）。
正文 · AI 翻译
摘要：基于视觉的操控策略通常从丰富的视觉观察中学习，一般使用从全分辨率图像中提取的稠密视觉特征。目前尚不清楚这种视觉信息中究竟有多少是有效策略学习真正需要的。本文研究了光谱的另一端：如果操控策略仅使用紧凑的视觉表示作为输入，其效果能有多好。稀疏 2D 关键点提供了一种刻意紧凑的表示，在赋予策略空间信息的同时，去除了对外观、纹理和背景的直接访问。我们设计了 AFFORD2ACT（Affordance-Guided Keypoints to Act），以研究在这种表示约束下能保留多少操控能力。一个现成的语言条件 affordance 模型识别任务相关区域，从中最多选取 15 个物体关键点，连同 4 个末端执行器关键点。因此策略输入被缩减为仅 19 个 2D 关键点（38 个坐标）。轻量级门控进一步决定执行期间关注哪些关键点。在六项真实机器人操控任务中，这种紧凑状态优于所评估的 RGB、RGB-D 和稠密 affordance 行为克隆基线，在演示数量减少时性能下降更少，并在留出设置中达到 82% 的平均成功率。将学习到的门控替换为均匀权重会使成功率从 92% 降至 52%。同时，该表示依赖于可靠的 affordance 定位和关键点跟踪，仍然容易受到错误掩码、遮挡、跟踪漂移和干扰物的影响。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.01433 [cs.RO] |
| （或本版本使用 arXiv:2510.01433v3 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2510.01433 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anukriti Singh [查看邮箱]
[v1]
2025年10月1日星期三 20:13:39 UTC（11,556 KB）
[v2]
2026年4月15日星期三 19:41:35 UTC（11,042 KB）
[v3]
2026年10月20日星期二 22:36:23 UTC（9,111 KB）
来源：arXiv cs.AI · arxiv.org