arXiv cs.AI· Rahul Sajnani, Diego Romeres, Mingyuan Zhang, Kai Gao, Carl Qi, Baichuan Huang, Srinath Sridhar, Dylan Randle, Lillian J. Ratliff, Jose Barreiros, Manikantan Nambi, Jeroen Vanbaar·· 12 小时前AI 评分41
UniWALM：面向具身机器人控制的统一世界-动作-语言模型
UniWALM: Unified World Action Language Model for Embodied Robot Control
AI 导读
UniWALM 将视频、动作与语言统一在单一 mixture-of-transformers 主干中，各模态扩散头同步去噪，无需独立规划阶段即可在同一次前向中解码子任务与文本记忆。
正文 · AI 翻译
作者：Rahul Sajnani、Diego Romeres、Mingyuan Zhang、Kai Gao、Carl Qi、Baichuan Huang、Srinath Sridhar、Dylan Randle、Lillian J. Ratliff、Jose Barreiros、Manikantan Nambi、Jeroen Vanbaar
摘要：受人类能够整合语言、感知与行动经验这一能力的启发，我们提出 UniWALM，一个统一的世界-行动-语言模型，它在单一共享表示中学习视频、动作和语言，其中每种模态既是条件信号，也是监督目标。我们提出疑问：联合生成语言能否丰富这一共享表示，从而改进操作并支持依赖记忆的行为？与以往将推理或视觉-语言模型附加到视频-动作骨干上、并作为不同阶段运行的方法不同，UniWALM 在单个 mixture-of-transformers 骨干内统一了全部三种模态，其各模态的扩散头同步协同去噪，在生成动作的同一次前向中解码子任务和文本记忆，无需单独的规划阶段；生成的文本会在下一步被重新使用，从而在没有外部规划器或记忆库的情况下闭合“语言即记忆”的循环。为在这一更丰富的目标下保持动作流的可靠性，我们进一步提出带校正的流匹配（Flow Matching with Correction，FMC），这是一种训练目标，教会模型从受扰动的动作轨迹中恢复，且不增加推理时开销。UniWALM 在组合式拾放任务（MolmoSpaces）上以及 RMBench 中依赖记忆的子集上，持续优于同骨干基线（例如 FastWAM）；在没有任何预训练语言或推理模型的情况下，它达到 34.5%，并且仅使用单个锚帧就超过了 Mem-0 配备关键帧的设置（28.5%）。在真实世界的 Find-the-Item 任务中，生成文本记忆将成功率从 11.1% 提升到 61.1%，而最先进的 VLA 仍处于或低于随机水平（<=33.3%）。
| 评论： | 预印本：25 页 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.28626 [cs.RO] |
| （或 arXiv:2610.28626v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28626 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rahul Sajnani [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 17:59:04 UTC（10,279 KB）
来源：arXiv cs.AI · arxiv.org