arXiv cs.AI· Yiqi Wang, Zhifeng Rao, Jiaqi Zhang, Xiaoyang Li, Zhangkai Wu, Yiqun Duan, Mingkai Zheng, Fei Wang, Shan You, Taotao Cai·· 9 天前AI 评分27
IndustrialVLA-Bench：面向开源机器人策略模型的可追溯多轴评估
IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models
AI 导读
IndustrialVLA-Bench 在统一报告框架下评估了六个已发布的 VLA 与 WAM 系统，分别考察 LIBERO 干净能力、LIBERO-Plus 非语言鲁棒性、LIBERO-Para 指令敏感性和实际执行成本。
正文 · AI 翻译
摘要：开放机器人策略日益遵循两种范式：视觉-语言-动作模型（VLA）直接将观测和指令映射为动作，而世界-动作模型（WAM）将学习到的视频或世界动态纳入策略学习或动作生成。尽管两者面向相同的操作任务，代表不同的设计选择，但它们通常在不同的评估协议下报告，导致其能力、鲁棒性、语言敏感性和部署成本权衡不明确。我们提出 IndustrialVLA-Bench，在统一报告模式下对六个已发布的 VLA 和 WAM 系统进行证据感知评估。它分别评估 LIBERO 上的干净能力、LIBERO-Plus 上的非语言鲁棒性、LIBERO-Para 上的指令敏感性以及观测到的执行成本。报告的任务分数汇总了在固定检查点和推理配置下、使用不同随机种子进行的三次完整评估。在所有六个系统中，干净 LIBERO 平均分仅相差 1.58 分，而鲁棒性和复述摘要分别跨越 14.62 和 31.08 分。将每次比较限制在三个协议忠实系统上仍保持该效应（1.36、14.62 和 23.10 分），因此此处报告的诊断分离不依赖于较弱的证据层级。我们还报告了每个系统的观测推理延迟、峰值内存、运行时模式和证据状态。协议忠实、接近复现和待验证条目保持明显区分；只有协议忠实条目支持严格比较。IndustrialVLA-Bench 并非声称任一范式具有普遍优越性，而是为在共同实用标准上比较已发布的机器人策略提供可追溯证据。代码和评估记录可在 此 https URL 获取。
| 评论： | 预印本 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.25562 [cs.RO] |
| （或 arXiv:2609.25562v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.25562 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xiaoyang Li [查看电子邮件]
[v1]
2026年9月22日星期二 01:51:09 UTC（4,369 KB）
[v2]
2026年10月8日星期四 05:28:54 UTC（3,480 KB）
来源：arXiv cs.AI · arxiv.org