arXiv cs.AI· Zihan Gao, Yuhong Zhang, Mengzhe Wang, Kaisheng Liu, Shengpeng Li, Siyao Xiao, Runqing Cheng, Xiao Lin, Zhifang Liu, Haoqian Wang·· 3 天前AI 评分32
DexCast：从人类视频中学习真实世界灵巧手控制
DexCast: Learning Real-World Dexterous Control from Human Videos
AI 导读
DEXCAST 是一个无需遥操作的框架，可直接从单目 RGB-D 视频中学习灵巧机械手控制，利用联合手物交互重建实现。该框架提出 DexHand Motion Perception Module（DMPM），以紧凑隐表征捕捉关节间协调与时序依赖，为扩散策略提供条件。真实世界实验表明，DEXCAST 在多种灵巧操作任务上表现优异。
正文 · AI 翻译
摘要：3D 手-物交互（HOI）感知的最新进展为从人类视频中学习灵巧机器人技能开辟了新机遇。然而，现有的灵巧模仿学习方法通常依赖昂贵且需人工遥操作的机器人演示，需要投入大量人力。为此，我们构建了 DEXCAST，一个利用联合 HOI 重建直接从单目 RGB-D 视频中学习灵巧机械手控制的框架，无需任何遥操作。此外，如何对高维机械手运动进行建模并提取时间上下文以指导未来动作生成仍是一个关键挑战。为此，我们提出了 DexHand 运动感知模块（DMPM），以紧凑的潜在表示捕捉关节间协调与时间依赖关系，从而为我们的扩散策略提供条件。大量真实世界实验表明，DEXCAST 在多样化的灵巧操作任务中取得了卓越性能。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14691 [cs.RO] |
| （或使用 arXiv:2610.14691v2 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14691 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Zihan Gao [查看邮箱]
[v1]
2026年10月10日 星期六 08:08:41 UTC（11,534 KB）
[v2]
2026年10月14日 星期三 07:14:55 UTC（11,534 KB）
来源：arXiv cs.AI · arxiv.org