arXiv cs.AI· Jiaao Yu, Yanjian Zhang, Haoyang Jiang, Guillaume Wisniewski, Nadi Tomeh, Shijie Jia·· 11 小时前AI 评分38
TouchéWorld：在生成式世界中实现统一的相机与手部在线探索
Touch\'{e}World tech report : Towards Online Unified Camera--Hand Exploration in Generative Worlds
AI 导读
TouchéWorld 是一个将手势驱动交互集成到相机控制视频世界模型中的框架，可根据初始图像和场景描述提示词，生成以时间对齐的相机与手部控制为条件的视频。该框架通过标注补全、一致性过滤和时间对齐，从异构第一人称视频构建联合相机-手部训练数据，并借助参数高效适配结合手部骨架空间条件与数值手部运动特征。研究团队还提出 TouchéBench，用于评估手部运动跟随、相机-手部协调、在线交互和物体响应。
正文 · AI 翻译
摘要：近期的视频世界模型允许用户通过相机导航探索生成的环境。连续手部运动提供了一种细粒度的动作通道，用于与探索过程中遇到的人物和物体进行交互。我们提出 TouchéWorld，一个将手势驱动交互集成到相机控制的视频世界模型中的框架。给定初始图像和场景描述提示，该模型以时间对齐的相机和手部控制为条件生成视频。我们通过标注补全、基于一致性的过滤和时间对齐，从异构的自我中心视频中构建联合相机—手部训练数据。在预训练的相机控制世界模型基础上，我们通过参数高效适配将空间手部骨架条件与数值手部运动特征相结合。因果适配和少步蒸馏支持块级在线生成，允许用户根据生成的视觉反馈更新其控制。我们进一步引入 TouchéBench，以评估手部运动跟随、相机—手部协调、在线交互和物体响应。这些组件共同建立了一个框架，用于研究生成世界中的连续探索和手部驱动交互。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06061 [cs.CV] |
| （或 arXiv:2611.06061v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06061 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaao Yu [查看电子邮件]
[v1]
2026年11月4日星期三 07:06:54 UTC（26,472 KB）
来源：arXiv cs.AI · arxiv.org