arXiv cs.AI· Zirui Song, Zheng Lu, Haoran Liao, Wanqi Zhong, Yunhe Ni, Lijie Wang, Xingjie Fan, Zhisheng Chen, Yantang Qu, Meijia Chen, Tianyu Xin, Yiming Li, Xiuying Chen·· 3 天前AI 评分23
LayerRoute:面向视觉-语言-动作策略的动作条件化混合层路由
LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies
AI 导读
LayerRoute 是一种动作条件化的表示路由接口,通过 Layer Mixture Router 动态组合缓存的 VLM 层表示,并用 Action-State Reread 复用早期动作表示。
正文 · AI 翻译
作者:Zirui Song、Zheng Lu、Haoran Liao、Wanqi Zhong、Yunhe Ni、Lijie Wang、Xingjie Fan、Zhisheng Chen、Yantang Qu、Meijia Chen、Tianyu Xin、Yiming Li、Xiuying Chen
摘要:视觉-语言-动作(VLA)策略利用预训练的视觉-语言模型(VLM)来引导机器人控制的动作生成。VLM 提供跨层演化的分层视觉-语义表示,从局部视觉几何到抽象的、与语言对齐的语义;因此,不同的操作任务可能需要不同混合的层表示。同时,动作模块维护在动作计算过程中演化的中间表示,并可能为后续决策提供有用信息。然而,现有的 VLA 接口在表示访问方面灵活性有限:VLM 信息通过为每个动作层固定分配的层来暴露,而中间动作状态仅通过残差流隐式传播,没有显式复用。我们提出 LayerRoute,一种以动作为条件的表示路由接口,能够自适应地访问 VLM 层和动作表示。层混合路由器动态形成缓存 VLM 表示的混合,而动作状态重读则复用先前的动作表示。在多样的仿真和真实世界基准上,LayerRoute 持续改进 StarVLA-$\pi$ 和 $\pi_{0.5}$,在 LIBERO Long 上取得最高 7.2 的提升,仅增加 0.31% / 3.87% 的额外参数。消融研究验证了以动作为条件的层路由的益处,而路由分析揭示了跨动作层和任务设置的结构化分配模式。
| Comments: | 15 页,7 幅图,16 张表,包括附录 |
| Subjects: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2609.06079 [cs.AI] |
| (或 arXiv:2609.06079v4 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.06079 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Zheng Lu [查看邮箱]
[v1]
2026年9月5日星期六 13:13:07 UTC(570 KB)
[v2]
2026年9月17日星期四 07:36:49 UTC(948 KB)
[v3]
2026年10月2日星期五 10:05:01 UTC(948 KB)
[v4]
2026年10月10日星期六 16:43:21 UTC(948 KB)
来源:arXiv cs.AI · arxiv.org