arXiv cs.AI· Xingyu Zhang, Yingchao Li, Peizheng Guo, Jie Hu, Changwen Zheng, Wenwen Qiang·· 2 天前AI 评分27
从人类视频到机器人操作的跨具身因果迁移：CBST 方法
Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
AI 导读
研究者提出 Causal-Beam-Guided Subtask Transfer（CBST），从人类操作视频中学习操作相关表征，并用机器人演示将其锚定到任务级语义变量，使机器人无需人机动作对应即可从自身观测生成动作。在机器人操作基准上，CBST 的任务成功率优于对应的 world-action 模型基线。
正文 · AI 翻译
摘要：扩展机器人操作模型需要大量交互数据，然而收集多样化的真实机器人经验仍然成本高昂。相比之下，人类操作视频提供了丰富且多样的任务经验，可能有益于机器人学习。然而，形态、动作空间和控制机制的差异使得人类动作不适合作为机器人动作的直接监督，这引出了一个科学问题：人类视频中的哪些知识应当跨具身迁移到机器人操作中？为回答这一问题，我们通过因果束的视角分析子任务迁移，关注应当保留哪些上下文条件和交互依赖以支持局部任务效果。基于这一视角，我们提出因果束引导的子任务迁移（CBST）。CBST 从人类视频中学习与操作相关的表征，并利用机器人演示将其锚定到任务级语义变量上。在预定义的操作模型中，因果束约束通过要求保留的赋值维持局部机制输出，同时保持对保留输入的非平凡响应性，来引导上下文信息选择。所选语义信息为一个世界-动作模型提供条件，使机器人能够从自身观测生成动作，而无需人-机器人运动对应。在机器人操作基准上的实验表明，任务成功率相比相应的世界-动作模型基线有所提升。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21798 [cs.RO] |
| （或 arXiv:2610.21798v1 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.21798 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xingyu Zhang [查看邮箱]
[v1]
2026年10月15日星期四 12:48:10 UTC（9,592 KB）
来源：arXiv cs.AI · arxiv.org