arXiv cs.AI· Bingao Chen, Lihan Zha, C. Karen Liu, Guy Tevet·· 12 小时前AI 评分44
FoveaVLA：用注视动作替代腕部相机的 VLA 模型
FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs
AI 导读
FoveaVLA 提出用学习到的注视动作替代腕部相机，在每次策略查询时预测下一动作块需观察的交互区域，并将原始分辨率裁剪图与全景视图一并输入策略。基于 π₀.₅ 构建 Single 和 Dual 两种配置，在 DROID 上用 RoboInter 交互标注后训练。
正文 · AI 翻译
摘要：我们提出 FoveaVLA，一种视觉-语言-动作（VLA）模型，用学习到的注视动作取代腕部相机。腕部相机提供近距离细节，但视野局限于末端执行器周围。外部相机能看到整个场景，但策略以低分辨率接收这些图像，因此操作所需的精细细节会丢失。FoveaVLA 通过在每个动作块之外同时预测下一次策略查询时要观察的交互区域，来恢复这些细节。随后，策略接收从原始分辨率图像中裁剪出的这些区域，以及完整视图。我们在 $\pi_{0.5}$ 上以 Single 和 Dual 两种配置构建 FoveaVLA，使用一个或两个外部立体相机，输入完整和注视区域的 RGB 与深度信息，并在带有 RoboInter 交互标注的 DROID 上对两者进行后训练。在四个真实世界任务套件中，FoveaVLA-Single 在单个外部 RGB-D 视图下达到 70.8% 的成功率，FoveaVLA-Dual 达到 77.1%，而配备腕部相机的 $\pi_{0.5}$ 为 52.1%。两者在普通抓取放置任务上与基线持平，并在有干扰物、布料操作和远处物体的情况下提高了成功率。
| 评论： | 项目网站：this https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20064 [cs.RO] |
| （或 arXiv:2610.20064v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20064 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bingao Chen [查看邮箱]
[v1]
2026年10月14日星期三 12:04:21 UTC（4,110 KB）
[v2]
2026年10月21日星期三 14:34:52 UTC（4,122 KB）
来源：arXiv cs.AI · arxiv.org