跳到正文
arXiv cs.AI· Guangyu Zhao, Yongchang Zhang, Haoxuan Ru, Kaichen He, Haoran Wen, Kun Zhan, Zeyu Zhang, Yin Li, Yiwu Zhong·· 1 天前AI 评分31

STAR:在推理阶段引导视觉-语言-动作模型的动作表征

STAR: Steering Action Representations during Inference

AI 导读

针对视觉-语言-动作模型(VLA)动作输出附近表征缺乏任务相关视觉 grounding 的问题,研究者提出免训练推理方法 STAR,对后层残差更新做指数移动平均,让后续动作表征继承前层的物体感知更新方向,并用本体感知状态自适应调整混合强度。在机器人操作基准上,STAR 将平均任务成功率提升 4.0 个百分点,代码已开源。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉-语言-动作模型(VLA)将语言指令和视觉观察映射为机器人动作,在机器人操作任务中展现出强大能力。然而,在我们的探测实验中,我们发现动作输出附近的动作表示并未完全保留与任务相关的视觉基础。受这一深层基础缺失的启发,我们提出了 STAR,即 STeering Action Representations(引导动作表示),一种用于预训练 VLA 的免训练推理方法。STAR 对深层残差更新应用指数移动平均,使较晚的动作表示能够继承来自较早层的物体感知更新方向,而无需更新模型或更改架构。它进一步利用近期的本体感受状态来调整混合强度,在执行动态快速变化时采用保守混合。在机器人操作基准上的实验表明,STAR 改善了深层物体感知,并将平均任务成功率提高了 4.0 个百分点。我们的代码可在 此 https URL 获取。
学科: 机器人学(cs.RO);人工智能(cs.AI)
引用为: arXiv:2610.41009 [cs.RO]
  (或 arXiv:2610.41009v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.41009

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Guangyu Zhao [查看电子邮件]
[v1] 2026年10月29日 星期四 21:42:17 UTC(1,866 KB)

来源:arXiv cs.AI · arxiv.org