跳到正文
arXiv cs.AI· Zirui Song, Zheng Lu, Haoran Liao, Wanqi Zhong, Yunhe Ni, Lijie Wang, Xingjie Fan, Zhisheng Chen, Yantang Qu, Meijia Chen, Tianyu Xin, Yiming Li, Xiuying Chen·· 3 天前AI 评分23

LayerRoute:面向视觉-语言-动作策略的动作条件化混合层路由

LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies

AI 导读

LayerRoute 是一种动作条件化的表示路由接口,通过 Layer Mixture Router 动态组合缓存的 VLM 层表示,并用 Action-State Reread 复用早期动作表示。

正文 · AI 翻译

作者:Zirui Song、Zheng Lu、Haoran Liao、Wanqi Zhong、Yunhe Ni、Lijie Wang、Xingjie Fan、Zhisheng Chen、Yantang Qu、Meijia Chen、Tianyu Xin、Yiming Li、Xiuying Chen

查看 PDF HTML(实验性)

摘要:视觉-语言-动作(VLA)策略利用预训练的视觉-语言模型(VLM)来引导机器人控制的动作生成。VLM 提供跨层演化的分层视觉-语义表示,从局部视觉几何到抽象的、与语言对齐的语义;因此,不同的操作任务可能需要不同混合的层表示。同时,动作模块维护在动作计算过程中演化的中间表示,并可能为后续决策提供有用信息。然而,现有的 VLA 接口在表示访问方面灵活性有限:VLM 信息通过为每个动作层固定分配的层来暴露,而中间动作状态仅通过残差流隐式传播,没有显式复用。我们提出 LayerRoute,一种以动作为条件的表示路由接口,能够自适应地访问 VLM 层和动作表示。层混合路由器动态形成缓存 VLM 表示的混合,而动作状态重读则复用先前的动作表示。在多样的仿真和真实世界基准上,LayerRoute 持续改进 StarVLA-$\pi$ 和 $\pi_{0.5}$,在 LIBERO Long 上取得最高 7.2 的提升,仅增加 0.31% / 3.87% 的额外参数。消融研究验证了以动作为条件的层路由的益处,而路由分析揭示了跨动作层和任务设置的结构化分配模式。
Comments: 15 页,7 幅图,16 张表,包括附录
Subjects: 人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2609.06079 [cs.AI]
  (或 arXiv:2609.06079v4 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.06079

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Zheng Lu [查看邮箱]
[v1] 2026年9月5日星期六 13:13:07 UTC(570 KB)
[v2] 2026年9月17日星期四 07:36:49 UTC(948 KB)
[v3] 2026年10月2日星期五 10:05:01 UTC(948 KB)
[v4] 2026年10月10日星期六 16:43:21 UTC(948 KB)

来源:arXiv cs.AI · arxiv.org