arXiv cs.AI· Akul Santhosh, Chaitra Sathe, Aastha Jhunjhunwala·· 4 小时前AI 评分31
FailureGen:用世界模型可扩展生成机器人失败数据
FailureGen: Scalable Robot Failure Data Generation with World Models
AI 导读
FailureGen 通过复用已记录失败中的动作轨迹,生成带时序事件标注的合成视频,用于扩充机器人失败数据。方法基于微调的 Cosmos 世界模型,将失败片段运动迁移到成功执行场景中,并经过标注与质量过滤。在初步对比中,用真实与生成数据训练的检测器平均精度达 0.51(仅真实数据为 0.41),并在 36 个失败区间中检出 33 个(仅真实数据为 28 个)。
正文 · AI 翻译
摘要:机器人故障难以大规模收集,限制了机器人学习数据集中所体现的故障场景范围。我们提出 FailureGen,一种通过复用已记录故障中的动作轨迹来生成带时间事件标注的合成视频的方法。该方法包含四个阶段:(1) 在成功和失败的真实执行数据上微调以动作为条件的 Cosmos 世界模型;(2) 对源记录进行标注,以识别与故障相关的供体片段和兼容的成功宿主片段;(3) 将供体运动迁移到宿主上下文中,可选地加入空间偏移,以生成连续的视频推演;以及 (4) 根据观察到的事件和视觉质量对生成的样本进行标注和筛选。我们研究了两种具有不同任务和机器人配置的实现,并将视觉故障检测作为一个下游应用。在初步比较中,使用真实数据和生成数据训练的检测器平均精度达到 0.51,而仅使用真实数据时为 0.41;检测器检测到 36 个故障区间中的 33 个,而后者为 36 个中的 28 个。通过在其他上下文中复用已观察到的故障,FailureGen 扩展了可用于研究机器人故障和开发下游学习方法的数据。
| 学科: | 机器人学(cs.RO);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22367 [cs.RO] |
| (或本版本的 arXiv:2611.22367v1 [cs.RO]) | |
| https://doi.org/10.48550/arXiv.2611.22367 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Akul Santhosh [查看邮箱]
[v1]
2026年11月17日星期二 08:21:16 UTC(13,180 KB)
来源:arXiv cs.AI · arxiv.org