arXiv cs.AI· Albert Wilcox, Frank Chang, Nhi Nguyen, Aishani Chakraborty, Jeremy A. Collins, Vaibhav Saxena, Benjamin Joffe, Siddharth Karamcheti, Animesh Garg·· 10 小时前AI 评分32
MESA：面向机器人操作策略组合、语义与空间泛化的评估框架
MESA: An Evaluation Framework for Compositional, Semantic, and Spatial Generalization in Robotics
AI 导读
MESA 是一个用于精确、可复现测量语言条件策略泛化能力的评估框架，包含五个评估套件，分别隔离分布内性能与空间配置、物体实例、物体类别、子任务组合四个泛化维度。
正文 · AI 翻译
摘要：尽管人们对用于机器人操作的基础模型兴趣日益浓厚，但对其能力的系统性评估仍然难以实现。现有的基准要么范围狭窄且已饱和，对 SOTA 方法几乎无法提供有效信号；要么范围宽泛，以牺牲受控实验为代价来提供多样性；要么需要在大规模、杂乱的开放数据集上进行训练。我们提出 MESA，一个旨在精确、可复现地衡量语言条件策略泛化能力的评估框架。MESA 提供五个评估套件，分别隔离分布内性能以及四个不同的泛化维度：空间配置、物体实例、物体类别和子任务组合，使研究人员能够诊断策略在何处以及为何失败，而不仅仅是是否失败。为了大规模填充这些套件，我们开发了 MESA-Gen，一个通过改进 MimicGen 构建的任务与演示生成流水线。我们在两个平台上实例化该框架并同时发布两者：单臂 MESA 套件，以及 BiMESA——首个面向双臂泛化的大规模基准。我们评估了七种基线方法，涵盖扩散策略、基于 VLM 的方法和预训练 VLA，发现最强的模型在 MESA 上仅达到 52%，在 BiMESA 上仅达到 49%，在提供有意义信号的同时仍留有充足的进步空间。MESA 的排名与 RoboArena 分数大体一致，表明 MESA 捕捉到了超越仿真、与方法层面相关的差异。项目网站：this https URL。
| 评论： | 51 页，12 幅图，包括附录。机器人学习会议（CoRL），2026。项目网站：this https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05567 [cs.RO] |
| （或 arXiv:2611.05567v1 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.05567 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Albert Wilcox Iii [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 20:01:03 UTC（7,748 KB）
来源：arXiv cs.AI · arxiv.org