arXiv cs.CL· Shuai Wang, Malu Zhang, Mingquan Liu, Weihui Dai, Dehao Zhang, Jieyuan Zhang, Yimeng Shan, Zijian Zhou, Peng Zhou, Bolun Wang, Yang Yang·· 9 小时前AI 评分38
脉冲驱动视觉-语言-动作(VLA)模型:首个可端到端直接训练的 Spike-driven VLA 框架
Spike-driven Vision-Language-Action Model
AI 导读
研究者提出首个可端到端直接训练的 Spike-driven VLA 框架,用于机器人操作,包含脉冲视觉与指令编码器、Multi-Winner Spike Fusion 和 Spike Action Chunking Transformer 三个核心组件。在 LIBERO 和 Meta-World 上的实验显示,该模型以更少参数和更低估计推理能耗达到与传统 VLA 模型相当的性能。
正文 · AI 翻译
作者:Shuai Wang、Malu Zhang、Mingquan Liu、Weihui Dai、Dehao Zhang、Jieyuan Zhang、Yimeng Shan、Zijian Zhou、Peng Zhou、Bolun Wang、Yang Yang
摘要:视觉-语言-动作(VLA)模型连接了多模态理解与机器人控制,推动了具身智能的主流范式。然而,现有大多数模型依赖大型 Transformer,其延迟和能耗成本阻碍了在资源受限平台上的部署。通过稀疏的事件驱动计算,脉冲神经网络为高性能、高能效计算提供了一种有前景的范式。在此,我们提出了首个支持机器人操作端到端直接训练的脉冲驱动 VLA 框架,主要包含三个核心组件。首先,我们开发了用于多模态感知的脉冲视觉与指令编码器,将视觉观测和语言指令编码为稀疏、可靠的脉冲表示,以供后续跨模态融合使用。然后,我们引入了多赢家脉冲融合(Multi-Winner Spike Fusion)用于指令引导的场景理解,利用双向 top-$k$ 赢者通吃脉冲路由来抑制背景干扰并生成融合记忆。最后,我们提出了一种脉冲动作分块 Transformer,在融合记忆和当前机器人状态上引入脉冲交叉注意力,从而能够高效地端到端生成用于机器人控制的连续动作块。在 LIBERO 和 Meta-World 上的大量实验表明,与传统 VLA 模型相比,脉冲驱动 VLA 以更少的参数和更低的估计推理能耗实现了具有竞争力的性能。这项工作为神经形态 VLA 建模建立了基础框架,为资源高效具身智能的未来进展铺平了道路。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2609.39514 [cs.CL] |
| (或 arXiv:2609.39514v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.39514 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Shuai Wang [查看邮箱]
[v1]
2026年9月30日星期三 11:16:01 UTC(13,595 KB)
[v2]
2026年11月17日星期二 04:52:52 UTC(13,595 KB)
来源:arXiv cs.CL · arxiv.org