VLA-Retain：基准测试 VLA 视觉微调的跨维度影响

查看 PDF HTML（实验性）

摘要：视觉-语言-动作（VLA）模型将大规模预训练获得的知识迁移到机器人控制中，但其操作性能对观测条件的变化仍然敏感，近期工作通过在目标域数据上微调视觉模块来应对这一问题。然而，这种适配在目标条件之外对鲁棒性的影响仍不清楚，因为现有的鲁棒性基准只评估未经微调的模型，而适配研究只报告目标增益。衡量这种跨维度效应需要将目标增益与非目标变化区分开、将适配效应与架构差异隔离开、排除通用遗忘，并比较不同的调优选择。因此，我们提出 VLA-Retain，一个在涵盖七个扰动维度的 LIBERO-Plus 数据集上，将五个在 Camera-view 或 Sensor-noise 数据上调优的开源 VLA 模型与其各自的基础检查点进行比较的基准。我们的研究揭示了四项发现。第一，针对性的视觉调优并非局部性的，其目标增益并不能预测保留情况。在 10 个模型-域配置中，有 8 个的平均非目标增益为负。在 Camera-view 调优下，X-VLA 在目标上获得 $69.4$ 个百分点，但在其他方面平均损失 $4.6$ 个点，而 OpenVLA-OFT 分别获得 $39.3$ 和 $1.4$ 个点。第二，这些退化不能仅用相同任务在无扰动情况下的性能损失来解释。第三，更广泛的训练覆盖范围相比目标特定训练提高了整体增益，但并未消除维度层面的退化。第四，调优策略依赖于模型，因为 DELTA 风格的特征保留将 X-VLA 的平均非目标增益提升至 $+1.2$ 个点，但将 OpenVLA-OFT 的降至 $-23.1$。总体而言，这些发现表明仅靠目标域的成功是不够的，并凸显跨维度保留是针对性 VLA 适配的关键标准。

学科：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2610.27698 [cs.CV]
	（或 arXiv:2610.27698v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.27698 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Borui Xu [查看邮箱]
[v1] 2026年10月20日星期二 06:17:00 UTC（2,115 KB）