arXiv cs.AI· Huajian Zeng, Lingyun Chen, Jiaqi Yang, Yuantai Zhang, Fan Shi, Peidong Liu, Xingxing Zuo·· 14 小时前AI 评分38
FlowHOI：基于流匹配的语义接地手物交互生成，用于灵巧机器人操作
FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation
AI 导读
FlowHOI 是一个两阶段流匹配框架，可根据第一视角观测、语言指令和 3DGS 场景重建生成语义接地的时序手物交互序列，包含手部姿态、物体姿态与接触状态。在 GRAB 和 HOT3D 基准上，其动作识别准确率最高，物理仿真成功率比最强扩散基线高 1.7 倍，推理速度提升 40 倍。研究还展示了在四项灵巧操作任务上的真机执行。
正文 · AI 翻译
摘要：近期的视觉-语言-动作（VLA）模型能够生成看似合理的末端执行器运动，但由于底层的手-物交互（HOI）结构未被显式表示，它们在长时程、接触密集的任务中往往失败。一种能够捕捉该结构的、与具体具身形态无关的交互表示，将使操作行为更易于验证并跨机器人迁移。我们提出 FlowHOI，一个两阶段流匹配框架，以自我中心观测、语言指令和 3D 高斯泼溅（3DGS）场景重建为条件，生成语义有据、时间连贯的 HOI 序列，包括手部姿态、物体姿态和手-物接触状态。我们将以几何为中心的抓取与以语义为中心的操作解耦，以后者以紧凑的 3D 场景 token 为条件，并采用运动-文本对齐损失，使生成的交互在物理场景布局和语言指令两方面都具有语义依据。为解决高保真 HOI 监督稀缺的问题，我们引入一条重建流水线，从大规模自我中心视频中恢复对齐的手-物轨迹与网格，从而得到用于稳健生成的 HOI 先验。在 GRAB 和 HOT3D 基准上，FlowHOI 取得了最高的动作识别准确率，物理仿真成功率比最强的基于扩散的基线高 1.7$\times$，同时推理速度提升 40$\times$。我们进一步在四个灵巧操作任务上展示了真实机器人执行，说明了将生成的 HOI 表示重定向到真实机器人执行流水线的可行性。
| 评论： | 已被 NeurIPS 2026 接收。项目主页：this https URL |
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用格式： | arXiv:2602.13444 [cs.RO] |
| （或本版本使用 arXiv:2602.13444v2 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2602.13444 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Huajian Zeng [查看邮箱]
[v1]
2026 年 2 月 13 日星期五 20:46:08 UTC（19,164 KB）
[v2]
2026 年 10 月 26 日星期一 14:08:55 UTC（19,129 KB）
来源：arXiv cs.AI · arxiv.org