arXiv cs.AI· Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo·· 14 小时前AI 评分30
StableHand：面向第一人称视频世界空间双手运动估计的质量感知流匹配框架
StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video
AI 导读
StableHand 是一个质量感知的流匹配框架，从第一人称视频估计世界空间双手 4D 运动，通过四通道质量信号（双手腕全局平移与手指关节）调节生成过程。在 HOT3D 和 ARCTIC 两个第一人称基准上，其所有报告指标均达 SOTA，W-MPJPE 相比最强基线降低 20-25%，在遮挡严重的 ARCTIC 序列上提升最大。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：从第一人称视频中恢复两只交互手的世界空间 4D 运动，是监督机器人策略学习的一项基础能力，其中手腕轨迹跟踪末端执行器，手指关节指定抓取姿态。这一设定面临两大挑战：由于头部运动，手部经常长时间离开相机视野；持续的手-物交互会导致一只或两只手被严重遮挡。现有方法统一以带噪声的手部运动观测为条件，而不考虑其逐帧可靠性，导致性能大幅下降。我们的关键洞见是，准确的世界空间手部运动估计与逐帧手部观测的质量紧密相关。为此，我们将从现成手部姿态估计器中提取的手部运动观测质量分解为四个通道：双手的手腕全局平移和手指关节。我们提出 StableHand，一个以这四个通道质量信号为条件的质量感知流匹配框架，这些信号由学习到的质量网络预测。我们通过逐通道前向调度、质量调整的速度目标、DiT 去噪器的 AdaLN 调制以及质量感知的 ODE 初始化，将质量信号自然地融入流匹配过程。这一统一的生成过程在保留高质量观测的同时，利用学习到的双手运动先验重建不可靠的观测。在 HOT3D 和 ARCTIC 这两个具有长时间手部缺失区间和持续手-物遮挡的第一人称基准上的实验表明，StableHand 在所有报告的指标上均达到最先进性能，与最强基线相比将 W-MPJPE 降低 20-25%，在遮挡严重的 ARCTIC 序列上提升最大。
| 评论： | 被 NeurIPS 2026 接收。项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.18553 [cs.CV] |
| （或 arXiv:2605.18553v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18553 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Huajian Zeng [查看邮箱]
[v1]
2026 年 5 月 18 日星期一 15:33:15 UTC（5,503 KB）
[v2]
2026 年 10 月 26 日星期一 14:05:12 UTC（4,893 KB）
来源：arXiv cs.AI · arxiv.org