arXiv cs.AI· Hongyu Ma, Hairong Qu, Shiqi Zhao, Yongsong Yang, Peng Yin·· 3 天前AI 评分24
ESTHER：面向野外场景的自我中心立体手部估计与重建
ESTHER: Egocentric Stereo Hand Estimation and Reconstruction in the Wild
AI 导读
ESTHER 是首个面向可穿戴自我中心立体的端到端度量 3D 手部重建模型，其立体几何、时序推理与输出表示均针对该信号设计。模型基于标定标注流程生成的伪标签训练，并据此构建了 ESTHER3D 基准，将大规模野外模型生成标签训练集与动捕真值度量测试集配对。实验显示其达到 SOTA 精度，对外部泛化更强，在缺失视角、丢帧及光照与运动模糊等极端条件下保持鲁棒，甚至坍缩为单目视角后仍能保留真实度量尺度。
正文 · AI 翻译
摘要：人类手部的灵巧性由双眼注视双手所引导：双目视觉提供了精细操作所需的度量三维结构。因此，以自我为中心的立体视觉是机器人、AR 和 VR 的自然感知接口——然而，从这一信号中进行度量三维手部重建，至今仍既没有端到端模型，也没有真实场景基准。我们提出 ESTHER，其立体几何、时序推理和输出表示专为可穿戴式以自我为中心的立体视觉而设计。它基于来自校准标注流程的伪标签进行训练，进而构建了我们的基准 ESTHER3D——一个以自我为中心的立体手部数据集，将大规模真实场景、由模型生成标签的训练集与运动捕捉的真实度量真值测试集配对。实验表明，其达到了最先进的精度、更优的外部泛化能力，并且对真实以自我为中心采集中的缺失视角、丢帧以及光照和运动模糊极端情况具有鲁棒性，而这些情况会令现有方法失效。这种鲁棒性不止于优雅降级：立体引导教会模型将表观手部尺度与度量深度绑定，因此它不仅能在极少微调下适应不同的立体设备和模态，更引人注目的是，即使在退化为单一单目视图后，仍能保持真实的度量尺度。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.34817 [cs.CV] |
| （或使用 arXiv:2609.34817v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.34817 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Hongyu Ma [查看邮箱]
[v1]
2026年9月28日星期一 10:17:22 UTC（26,627 KB）
[v2]
2026年10月10日星期六 12:53:12 UTC（31,876 KB）
来源：arXiv cs.AI · arxiv.org