arXiv cs.AI· Zhehao Dong, Xiaofeng Wang, Zheng Zhu, Yirui Wang, Yang Wang, Yukun Zhou, Boyuan Wang, Chaojun Ni, Runqi Ouyang, Wenkang Qin, Xinze Chen, Yun Ye, Guan Huang, Zhen Lu, Yue Yang·· 11 小时前AI 评分38
EMMA：用生成式视觉模型提升机器人控制鲁棒性
EMMA: Enhancing Robotic Control Robustness through a Generative Visual Model
AI 导读
研究团队提出 EMMA 框架，通过生成式数据引擎与训练流程增强 VLA 策略，其 DreamTransfer 基于扩散 Transformer 生成多视角一致、几何合理的机器人操作视频，支持对前景、背景和光照的文本驱动编辑。在零样本视觉设置的真实机器人任务中，该框架相比仅用真实数据训练实现超 92% 的相对性能提升，加入 AdaMix 自适应样本加权策略后再提升 17%。
正文 · AI 翻译
作者：Zhehao Dong、Xiaofeng Wang、Zheng Zhu、Yirui Wang、Yang Wang、Yukun Zhou、Boyuan Wang、Chaojun Ni、Runqi Ouyang、Wenkang Qin、Xinze Chen、Yun Ye、Guan Huang、Zhen Lu、Yue Yang
摘要：视觉-语言-动作（VLA）模型的泛化能力在很大程度上依赖于多样化的训练数据。然而，获取覆盖多种物体外观的大规模机器人操作数据成本高昂且耗费人力。为解决这一问题，我们提出了具身操作媒体适配（EMMA）框架，用于增强 VLA 策略，它结合了生成式数据引擎与高效的训练流程。我们提出了 DreamTransfer，一种基于扩散 Transformer 的架构，用于生成多视角一致且几何合理的具身操作视频。它支持对前景、背景和光照进行文本驱动的视频编辑，同时保持 3D 结构和几何保真度。我们还使用真实数据与生成数据构成的混合训练集，并提出 AdaMix 来改进训练过程。AdaMix 是一种训练策略，它根据策略性能自适应地为样本加权，以强调具有挑战性的样本。评估表明，DreamTransfer 在多视角一致性、几何保真度和文本条件精度方面优于先前的视频生成模型。在零样本视觉设置的真实机器人任务中，与仅使用真实数据训练相比，我们的框架实现了超过 92% 的相对性能提升，而使用 AdaMix 后又额外提升了 17%。
| 主题： | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2509.22407 [cs.AI] |
| （或 arXiv:2509.22407v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.22407 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhehao Dong [查看邮箱]
[v1]
2025 年 9 月 26 日星期五 14:34:44 UTC（3,654 KB）
[v2]
2026 年 3 月 16 日星期一 09:11:10 UTC（25,105 KB）
[v3]
2026 年 10 月 20 日星期二 17:33:39 UTC（28,348 KB）
来源：arXiv cs.AI · arxiv.org