arXiv cs.AI· Wei Wang, Wenqiao Zhang, Yutong Lin, Yuqian Yuan, Tianwei Lin, Jinhao Mao, Zhenxuan Fan, Mingjian Gao, Yang Dai, Wentong Li, Zheqi Lv, Zheng Dong, Yingjie Niu, Jiaqi Zhu, Jun Xiao, Chao Li, Yueting Zhuang·· 3 天前AI 评分27
EmbodiedSkills:用世界动作模型增强级联技能的 VLA 智能体框架
EmbodiedSkills: World Action Model-augmented Cascaded Skills for Vision-Language-Action Agent
AI 导读
EmbodiedSkills 是一个基于技能的智能体框架,通过世界动作模型为冻结的 VLA 策略增强后果感知的动作选择,在 MetaWorld MT50 上把成功率从 76.28% 提升到 78.64%,在 CLIPort 上从 33.94% 提升到 36.83%。
正文 · AI 翻译
作者:Wei Wang, Wenqiao Zhang, Yutong Lin, Yuqian Yuan, Tianwei Lin, Jinhao Mao, Zhenxuan Fan, Mingjian Gao, Yang Dai, Wentong Li, Zheqi Lv, Zheng Dong, Yingjie Niu, Jiaqi Zhu, Jun Xiao, Chao Li, Yueting Zhuang
摘要:视觉-语言-动作(VLA)策略能够生成可执行的机器人动作,但看似合理的方案对任务可能产生不同的后果。我们提出 EmbodiedSkills,一个基于技能的智能体框架,通过世界动作模型增强冻结的 VLA 策略,实现后果感知的动作选择。该框架定义了可复用的技能,用于场景观察、上下文编码、候选生成、后果预测、结果评估、候选比较和动作执行。五个阶段在共享反馈回路中组织其输入-输出依赖关系,同时兼容连续动作块和拾放基元。在每个决策点,独立训练的世界动作模型预测一组共同策略提议的潜在后果。选择过程将其结果得分和预测分歧与一个轻量级比较器相结合,该比较器根据预测效果的一致性来估计替代方案的优势。预测和比较模块从匹配状态的候选分支中学习,而动作策略和预训练观察编码器保持冻结。在 MetaWorld MT50 和 CLIPort 上,EmbodiedSkills 将成功率分别从 76.28% 提升至 78.64%,从 33.94% 提升至 36.83%。使用冻结的 FLOWER 策略进行的额外 CALVIN 评估将五任务链成功率从 77.10% 提升至 77.90%。这些结果证明了后果感知选择在不同策略后端和动作表示上的适用性。
| 学科: | 机器人学(cs.RO);人工智能(cs.AI) |
| 引用为: | arXiv:2609.01281 [cs.RO] |
| (或 arXiv:2609.01281v2 [cs.RO] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.01281 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Wei Wang [查看邮箱]
[v1]
2026年9月1日星期二 14:14:47 UTC(2,139 KB)
[v2]
2026年10月9日星期五 06:31:30 UTC(2,339 KB)
来源:arXiv cs.AI · arxiv.org