arXiv cs.AI· Sagnik Anupam, Utkarsh Lal, Aneesh Edara, Botong Zhang, Yao Tang, Jiatao Gu, Dinesh Jayaraman, Osbert Bastani·· 12 小时前AI 评分38
RoboReason：通过可扩展数据生成提升机器人相关 VLM 推理能力
RoboReason: Boosting Robotics-Relevant VLM Reasoning Through Scalable Data Generation
AI 导读
RoboReason 提出用真实机器人立体相机与腕部相机图像构建空间与时间排序任务，评估 VLM 的视觉推理能力，发现多个 SOTA 视觉语言模型在排序任务上表现不佳。研究进一步提出可扩展的自主训练数据生成流水线，基于生成数据的有监督微调和强化学习均显著提升了 VLM 在时空排序任务及下游机器人与视觉推理任务上的表现。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在集成到机器人操作流程中时已展现出令人印象深刻的性能，但在下游机器人任务上对 VLM 能力进行真实世界评估既困难又难以规模化。我们提出，使用来自真实机器人上搭载的立体相机和腕部相机的图像进行空间与时间排序任务，特别适合评估视觉推理能力，因为这些任务所考察的技能可直接应用于机器人。我们针对三个问题评估 VLM 的推理能力：根据任务的语言描述对打乱的帧进行排序、根据与相机的距离对物体进行深度排序，以及在像素坐标中从左到右对物体排序。这些任务的复杂度还可以通过改变待排序集合的大小来调节。我们的实验表明，若干最先进的视觉语言模型在排序任务上表现不佳。为解决这一问题，我们提出了一种可扩展的自主训练数据生成流程，并表明在生成数据上进行监督微调和强化学习均能显著提升 VLM 在时空排序任务以及下游机器人和视觉推理任务上的推理性能。
| 评论： | EMNLP 2026 主会 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.33778 [cs.RO] |
| （或 arXiv:2610.33778v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33778 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sagnik Anupam [查看电子邮件]
[v1]
2026年10月24日星期六 16:29:54 UTC（12,663 KB）
来源：arXiv cs.AI · arxiv.org