跳到正文
arXiv cs.AI· Guanzhong Sun, Junyi Ma, Yuxuan Wu, Erhang Zhang, Chenyang Xu, Yanzi Miao, Hesheng Wang·· 10 小时前AI 评分20

TOMAS:面向第一视角手部预测的拓扑感知操作建模与自适应分段框架

TOMAS: Topology-Aware Operation Modeling and Adaptive Staging for Egocentric Hand Forecasting

AI 导读

TOMAS 是一个用于第一视角手部预测的拓扑感知操作建模与自适应分段框架,通过将手部骨骼结构与关节运动动态同物体语义、空间关系关联,联合推断交互目标与潜在操作类型。该框架引入自适应分段机制,将未来手部运动组织为带可学习时间边界的有序潜在阶段,并以阶段特定几何子目标引导轨迹细化。在多个公开基准上,TOMAS 在多维、多目标手部运动预测中取得 SOTA 性能。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:从第一人称视频中预测未来手部运动,对于理解人类意图和手-物体交互具有重要作用。然而,即使在与同一物体交互时,不同的操作意图也可能导致手部轨迹存在显著差异。现有方法尚未充分探索关节手部运动与物体语义之间的内在关系,以捕捉这种依赖于操作的运动模式。因此,我们提出 TOMAS,一种用于第一人称手部预测的拓扑感知操作建模与自适应分阶段框架。具体而言,我们开发了一种拓扑感知的手-物体推理机制,将手部骨骼结构与关节运动动态同物体语义和空间关系相关联,以联合推断潜在的交互目标和隐含的操作动作。由此得到的物体-操作表示可为未来手部轨迹预测提供交互条件,其监督方式适配各数据集中可用的标注。此外,我们引入了一种自适应分阶段机制,将未来手部运动组织为具有可学习时间边界的有序潜在阶段。随后引入阶段特定的几何子目标,以根据潜在的操作模式引导轨迹细化。在多个公开基准上的实验结果表明,TOMAS 在多维度和多目标手部运动预测方面达到了最先进的性能。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.23970 [cs.CV]
  (或 arXiv:2611.23970v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23970

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Guanzhong Sun [查看邮箱]
[v1] 2026年11月18日星期三 07:10:44 UTC(38,145 KB)

来源:arXiv cs.AI · arxiv.org