arXiv cs.CL· Ziyong Wang, Yupei Lin, Runxuan Huang, Liang Lin, Dongyu Zhang, Guangrun Wang·· 11 小时前AI 评分58
GPT-6-Astra 在触觉操作任务上超越视觉-触觉-语言-动作模型
GPT-6-Astra Understands Touch and Outperform Vision--Tactile--Language--Action Models
AI 导读
论文提出 GPT-as-Tactile-Policy 方法，将专家演示总结为任务指引和触觉参考，由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令。该方法无需额外的机器人专用预训练或逐任务策略微调，在五个 UniVTAC 任务上平均成功率达 93.8%，与当前最优策略相当，部分任务更高；在 Insert Hole 任务上，触觉反馈将成功率从 31% 提升到 99%。
正文 · AI 翻译
摘要：通用多模态模型作为直接的机器人动作策略已展现出潜力，但它们是否理解真实世界交互背后的物理规律，并能运用这种理解来指导动作，仍缺乏充分探索。我们以接触密集型操作作为代表性测试平台来研究这一问题，并将触觉理解作为这一更广泛能力的具体实例加以考察。接触密集型操作需要解读触觉反馈，并在受阻后调整动作。现有的学习型触觉策略通过专门的预训练和逐任务优化来获得这些能力，需要大量数据和训练成本。我们提出 GPT-as-Tactile-Policy，它将专家演示总结为任务指导与触觉参考，用于接触评估和纠正动作。GPT-6-Astra 将这些上下文与多模态观测和交互历史相结合，生成控制命令，并通过接触反馈调整动作。无需额外的机器人专用预训练或逐任务策略微调，我们的方法在五个 UniVTAC 任务上平均成功率达到 93.8\%。整体性能与最先进策略相当，在部分任务上成功率更高。在 Insert Hole 任务上，触觉反馈将成功率从 31\% 提升至 99\%。执行分析进一步展示了接触引导的试探与纠正，通过显式专家经验和在线反馈支持操作进展。
| 评论： | 此 https URL |
| 主题： | 机器人学（cs.RO）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28457 [cs.RO] |
| （或 arXiv:2610.28457v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28457 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyong Wang [查看邮箱]
[v1]
2026年10月20日星期二 16:15:02 UTC（2,348 KB）
来源：arXiv cs.CL · arxiv.org