arXiv cs.AI· Yuto Shibata, Kotaro Amaya, Kashu Yamazaki, Lalit Jayanti, Yoshimitsu Aoki, Mariko Isogawa, Katerina Fragkiadaki·· 11 小时前AI 评分38
REACT：用 VLM 引导接触重定向与生成式伙伴建模，让人形机器人学会人机交互
VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction
AI 导读
REACT 框架从人类-人类演示中学习可部署的人形-人类交互策略，以语义接触结构作为核心监督信号。VLM 引导的接触建模与重定向流程将语义接触迁移到人形-人类几何上，生成式伙伴状态建模则从被遮挡的自我视角预测伙伴动作。在仿真和真实 Unitree G1 上，REACT 仅靠机载传感完成全部五种接触密集型交互，生成式建模在五种交互中的四种提升了接触召回率。
正文 · AI 翻译
摘要：人-人形机器人交互要求机器人在严重的部分可观测条件下运行：在近距离身体接触期间，人类伙伴会被遮挡、截断或处于机器人视野之外，导致姿态估计失败，并且通常需要外部跟踪或特权人类状态。同时，严重的相互遮挡会给用于学习的人-人运动捕捉数据引入误差。我们提出 REACT，一个从人-人演示中学习可部署人形机器人-人交互策略的框架。REACT 将语义接触结构视为连接演示处理、交互学习和机载控制的关键监督信号。首先，一个 VLM 引导的接触建模与重定向流水线识别语义上有意义的接触，并将它们转移到人形机器人-人几何结构上，同时保留交互结构。利用这些标注，特权交互策略通过交互感知的接触奖励学习具有物理基础的行为，然后被蒸馏为可部署的自我中心深度策略，该策略完全使用逼真的人类深度渲染从机载传感数据训练。为解决严重的部分可观测性，我们引入生成式伙伴状态建模目标，从被遮挡的自我中心视角预测伙伴运动。我们在仿真中和真实 Unitree G1 人形机器人上，在五种接触丰富的交互中评估 REACT。语义接触建模显著提高了对演示交互的保留，而生成式伙伴状态建模在五种交互中的四种上提高了接触召回率，其中大多数是在严重遮挡下。在真实硬件上，REACT 仅使用机载传感即可执行全部五种交互。
| 评论： | CoRL2026，项目页面：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.28523 [cs.RO] |
| （或 arXiv:2610.28523v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28523 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuto Shibata [查看电子邮件]
[v1]
2026年10月20日星期二 16:57:52 UTC（33,724 KB）
来源：arXiv cs.AI · arxiv.org