arXiv cs.AI· Jun Xiao, Rui Ye, Dong Cao, Jinyu Gu, Ying Wang, Zhiliang Zhu·· 3 天前AI 评分29
VLA-GAUGE：系统评估视觉-语言-动作模型的泛化性与鲁棒性
VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models
AI 导读
研究团队提出诊断框架 VLA-GAUGE，在统一可执行任务表示下评估 12 个视觉-语言-动作（VLA）模型的零样本泛化与扰动鲁棒性。结果显示平均 Zero-Shot Score 仅 22.3%，SimpleVLA-RL 仅 8.0% 位列倒数第二；三种组合扰动配置下平均 R-Score 为 9.3。
正文 · AI 翻译
摘要：视觉-语言-动作模型（VLA）在熟悉操作任务上已取得高成功率，但这些分数是否反映真正的零样本泛化与扰动鲁棒性仍不明确。现有评估框架提供的能力级诊断和组合扰动覆盖有限，且往往未将诊断与针对性模型改进联系起来。我们提出 VLA-GAUGE，一个在共享可执行任务表示下统一这两类评估的诊断框架。它结合了（1）跨六个能力套件的配对分布内与分布外任务，（2）单因素敏感性分析及组合扰动筛选与评估，以及（3）通过针对性数据增强和模型微调实现的诊断驱动改进。我们在统一协议下评估了 12 个 VLA，涵盖不同模型规模和动作建模范式。我们发现：（1）VLA-GAUGE 上的平均零样本得分仅为 22.3%，其中 SimpleVLA-RL 得分为 8.0%，在受评估模型中排名倒数第二。（2）在三种代表性组合扰动配置下，平均 R-Score 为 9.3。（3）诊断驱动的微调在留出场景上将 $\pi_{0.5}$ 在选定扰动组合下的零样本泛化和鲁棒性分别提升了 72.4 和 31.8 分；尽管成功训练轨迹更少，后者仍超过 LIBERO-Plus 单因素微调带来的 10.9 分增益。这些结果表明，在熟悉操作任务上报告的高成功率并不能保证对未见任务的强零样本泛化或对组合扰动的鲁棒性，而诊断评估为针对性模型改进提供了可操作的信号。
| 评论： | 18 页，8 幅图，4 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.16567 [cs.CV] |
| （或 arXiv:2610.16567v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16567 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Jun Xiao [查看邮箱]
[v1]
2026年10月12日星期一 10:48:12 UTC（12,456 KB）
来源：arXiv cs.AI · arxiv.org