arXiv cs.AI· Gen Li, Kaifeng Zhao, Siwei Zhang, Xiaozhong Lyu, Mihai Dusmanu, Yan Zhang, Marc Pollefeys, Siyu Tang·· 10 小时前AI 评分32
EgoGen：面向第一人称感知任务的合成数据生成器
EgoGen: An Egocentric Synthetic Data Generator
AI 导读
EgoGen 是一个为第一人称（egocentric）感知任务生成精确丰富真值训练数据的合成数据生成器，核心是直接利用虚拟人的第一人称视觉输入感知 3D 环境的人体运动合成模型。
正文 · AI 翻译
摘要：以第一人称视角理解世界是增强现实（AR）的基础。与第三人称视角相比，这种沉浸式视角带来了剧烈的视觉变化和独特的挑战。合成数据已经赋能了第三人称视角的视觉模型，但其在具身自我中心感知任务中的应用仍基本未被探索。一个关键挑战在于模拟自然的人类运动和行为，以有效地引导具身相机捕捉对 3D 世界的忠实自我中心表征。为应对这一挑战，我们提出了 EgoGen，一种新的合成数据生成器，可为自我中心感知任务生成准确且丰富的真值训练数据。EgoGen 的核心是一种新颖的人体运动合成模型，它直接利用虚拟人的自我中心视觉输入来感知 3D 环境。结合避碰运动基元和两阶段强化学习方法，我们的运动合成模型提供了一种闭环解决方案，其中虚拟人的具身感知与运动无缝耦合。与先前工作相比，我们的模型无需预定义的全局路径，并且可直接应用于动态环境。结合我们易于使用且可扩展的数据生成流水线，我们展示了 EgoGen 在三个任务中的有效性：头戴式相机的地图构建与定位、自我中心相机跟踪，以及从自我中心视角进行人体网格恢复。EgoGen 将完全开源，为创建逼真的自我中心训练数据提供实用解决方案，并旨在成为自我中心计算机视觉研究的有用工具。请参阅我们的项目页面：此 https URL。
| 评论： | 被 CVPR 2024 接收（Oral）。23 页，17 张图。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2401.08739 [cs.CV] |
| （或 arXiv:2401.08739v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2401.08739 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gen Li [查看邮箱]
[v1]
2024 年 1 月 16 日星期二 18:55:22 UTC（14,611 KB）
[v2]
2024 年 4 月 11 日星期四 16:35:22 UTC（14,855 KB）
[v3]
2026 年 11 月 4 日星期三 14:33:53 UTC（14,854 KB）
来源：arXiv cs.AI · arxiv.org