跳到正文
arXiv cs.AI· Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Zhiyou Heng, Zhaosong Li·· 4 小时前AI 评分24

EgoHandWAM:探究手部运动在以自我为中心的世界动作建模中的作用

EgoHandWAM: Probing the Role of Hand Motion in Egocentric World Action Modeling

AI 导读

EgoHandWAM 从当前图像和近期手部状态预测三维手腕与指尖轨迹及未来视觉特征,基于 751,065 个 EgoDex 窗口、用冻结的 DINOv2 编码器训练。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:手部运动能在多大程度上告诉我们第一人称相机会看到什么?EgoHandWAM 根据当前图像和近期手部状态,预测三维手腕与指尖轨迹以及未来的视觉特征。我们使用冻结的 DINOv2 编码器,在 751,065 个 EgoDex 窗口上进行训练。在留出的开发会话上,仅动作模型相对于静止预测,将两秒手腕端点误差从 60.26 毫米降至 56.48 毫米。它仍然低估了长距离伸手动作。加入未来特征监督后,轨迹精度几乎相同。借助记录的手部历史,视觉头相对于复制当前特征,将平滑 L1 误差降低了 1.32\%。跨会话打乱历史会消除这一增益。在另一项四任务探测中,将记录的未来位移加入观测上下文和未来跟踪有效性掩码,使视觉特征误差降低了 3.93\%。仅使用掩码带来的改进很小。根据相同观测预测出的轨迹带来的改进也很小。在两个模拟的 RoboTwin 任务上,用对齐的人类示例替代一批辅助机器人示例,在三个训练种子下均未带来任务成功率的持续提升。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.22151 [cs.CV]
  (或本版本的 arXiv:2611.22151v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.22151

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yaoyuan Yan [查看邮箱]
[v1] 2026年11月17日星期二 03:34:02 UTC(2,818 KB)

来源:arXiv cs.AI · arxiv.org