arXiv cs.AI· Shuang Luo, Yilun Kong, Yunpeng Qing, Yihang Jiao, Zhi Hou, Shunyu Liu, Xiaogang Wang, Dacheng Tao·· 9 天前AI 评分24
ACT³：一种以动作为中心的三流 Transformer，融合语义与动力学
Rewiring Semantics, Dynamics, and Control: A Simple yet Effective Action-Centric Tri-Stream Transformer
AI 导读
研究者提出 ACT³，一种以动作为中心的三流 Transformer，将 VLM 的语义理解与 WM 的动力学预测融合进控制动作，同时保持各上下文流的独立前向传播。该设计让专用动作专家通过逐层注意力访问 VLM 和 WM 表征，各骨干仅在本流内做注意力，并均可通过控制监督更新。在仿真与真实机器人操作基准上，ACT³ 表现优于同类方法。
正文 · AI 翻译
摘要：视觉-语言-动作（VLA）模型已成为复杂机器人操作的重要框架，其建立在预训练视觉-语言模型（VLM）强大的语义理解能力之上。然而，此类 VLM 主干网络提供的物理动力学先验不足，限制了机器人策略的泛化能力。因此，近期研究通过多种策略将视频生成世界模型（WM）集成到机器人策略中，利用预测动力学来促进动作生成。尽管取得了这些进展，将语义理解和动力学预测作为动作生成的互补指导仍具挑战性。本文提出了 $\mathrm{ACT}^3$，一种简单而有效的以动作为中心的三流 Transformer，它将语义和动力学信息融合为控制动作，同时保持上下文流各自不同的角色。具体而言，$\mathrm{ACT}^3$ 使专用动作专家能够通过逐层注意力访问 VLM 和 WM 表示，而每个主干仅在其自身的流内进行注意力计算。这种简洁的交互设计在上下文流中保持独立的前向传播，同时允许两个主干通过控制监督进行更新。在仿真和真实世界机器人操作基准上的实验表明，所提出的 $\mathrm{ACT}^3$ 取得了优于同类方法的结果。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11416 [cs.RO] |
| （或 arXiv:2610.11416v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11416 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuang Luo [查看邮箱]
[v1]
2026年10月8日星期四 07:45:58 UTC（2,742 KB）
来源：arXiv cs.AI · arxiv.org