arXiv cs.AI· Minh-Loi Nguyen, Nghiem T. Diep, Hung K. Nguyen, Minh Le, Doanh L. Thien, Tuan A. Tran, Hoang H. Tran, Dung D. Le, Vu N. Duong, Khoa D. Doan, Ngan Le, Daniel Sonntag, An T. Le, Vien Anh Ngo, Duy M. H. Nguyen, Tran V. Nhiem·· 3 天前AI 评分24
RoboGaze：用结构化视觉语言分析评估机器人世界模型
RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis
AI 导读
RoboGaze 是一个免训练的多智能体 VLM 评估器，通过将任务与场景接地、把子任务路由给维度专属专家并用 critic 核验，生成时间定位的诊断报告，覆盖 6 个维度和 30 种失败类型。
正文 · AI 翻译
作者：Minh-Loi Nguyen、Nghiem T. Diep、Hung K. Nguyen、Minh Le、Doanh L. Thien、Tuan A. Tran、Hoang H. Tran、Dung D. Le、Vu N. Duong、Khoa D. Doan、Ngan Le、Daniel Sonntag、An T. Le、Vien Anh Ngo、Duy M. H. Nguyen、Tran V. Nhiem
摘要：机器人世界模型如今能够生成合成的操作视频，但评估它们却很困难：看起来逼真的输出往往违反物理定律、时间一致性或任务逻辑，而传统指标和单体式视觉语言模型（VLM）评判器给出的分数并不能说明哪里出了问题。我们提出 RoboGaze，一种免训练的多智能体 VLM 评估器，它锚定任务与场景，将每个子任务路由到特定维度的专家，并由评论者验证其发现，从而生成时间上局部化的诊断报告，说明失败的内容、时间、原因和严重程度，其模式包含 6 个维度和 30 种失败类型，我们测量了这些标注的可靠性和覆盖范围。为了对其进行基准测试，我们引入了 RoboGazeBench，包含来自五个生成器的 914 个人工标注片段，以模拟和真实世界数据为条件，时长从 4.9 秒到 148.9 秒不等。在八个开源和专有 VLM 主干上，RoboGaze 均优于所有基线；即使给一个已发表的智能体检测器提供相同的模式和略大的推理预算，它仍落后 10.1-12.3 个描述-F1 点，这一差距得到了盲测人类评分者的确认。在最强的主干上，它弥合了思维链提示与人类一致性之间 83% 的差距，其评论者抑制了标准 VLM 的“狼来了”式假阳性，将平均干净片段准确率从 17% 提升到 85%。这一优势在留出的生成器和长片段上最大，并延续到选择生成的演示（80% 对 71% 的精确率）。
| 评论： | 34 页，含附录。项目页面：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.28385 [cs.RO] |
| （或 arXiv:2606.28385v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.28385 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minh-Loi Nguyen [查看电子邮件]
[v1]
2026 年 6 月 22 日星期一 06:45:09 UTC（37,091 KB）
[v2]
2026 年 10 月 10 日星期六 08:18:36 UTC（11,036 KB）
来源：arXiv cs.AI · arxiv.org