arXiv cs.AI· Nikolaos Tsagkas, Andreas Sochopoulos, Chris Xiaoxuan Lu, Oisin Mac Aodha, Alexandros Kouris·· 6 天前AI 评分29
w²VLA：在视觉-语言-动作模型中解耦陈述性知识与程序性知识
Decoupling the Declarative from the Procedural in Vision-Language-Action Models
AI 导读
研究者提出 w²VLA，一种重构信息流的视觉-语言-动作（VLA）模型，通过以组合且可解释的方式用视觉、空间和技能信息调制机器人状态序列，而非将所有多模态 token 送入不透明的 Transformer 动作专家。该方法成功解耦知识表示，实现稳健的行为克隆，并在差异较大、未见过的物体上取得零样本技能迁移能力。
正文 · AI 翻译
摘要：在现实世界中部署通用机器人智能体需要可迁移的技能。具体而言，一个通过特定物体演示来克隆行为的策略必须能够泛化到该物体之外，否则数据收集需求将变得难以处理。近来，对预训练的十亿参数视觉语言模型（VLM）进行微调——先在大规模机器人数据集上，再在较少的特定场景演示上——已成为设计视觉-语言-动作（VLA）模型的主流范式。尽管这些策略在分布内实现了最先进的操控性能，但它们对细微的空间、语义和任务变化仍然脆弱。在这项工作中，我们解决了当前模型无法将其参数中编码的陈述性知识（即概念和实体语义）与程序性知识（即如何做某事）解耦的问题，这是实现零样本技能迁移到新物体的根本瓶颈。为解决这一问题，我们提出了 w$^{2}$VLA，一种具有重构信息流的新型 VLA 模型。我们的方法不是将来自 VLM 编码器的所有多模态 token 输入到一个大型、不透明的基于 transformer 的动作专家中，而是以组合且可解释的方式用视觉、空间和技能信息调制机器人状态序列。与流行的、最先进的 VLA 不同，我们展示了我们的模块化方法成功解耦了知识表示，从而实现了稳健的行为克隆以及跨不同、未见物体的前所未有的零样本技能迁移能力。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.21496 [cs.RO] |
| （或本版本的 arXiv:2606.21496v2 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2606.21496 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Nikolaos Tsagkas [查看邮箱]
[v1]
2026年6月19日星期五 14:43:58 UTC（25,373 KB）
[v2]
2026年10月9日星期五 12:35:44 UTC（5,502 KB）
来源：arXiv cs.AI · arxiv.org