arXiv cs.CL· Andrew Perrault (Relantic, Inc., Columbus, OH, USA), Anmol Takiar (Relantic, Inc., Columbus, OH, USA), Dominik Winecki (Relantic, Inc., Columbus, OH, USA), Arnab Nandi (Relantic, Inc., Columbus, OH, USA)·· 3 天前AI 评分30
RealityBench：用模拟环境评测视觉语言模型记录人类体力工作的能力
RealityBench: Simulated Environments to Evaluate a Vision Language Model's Ability to Document Human Physical Work
AI 导读
研究者提出 RealityBench，用 Blender 构建覆盖 11 种环境的模拟场景，评测视觉语言模型记录屋顶光伏安装、车辆维修等体力工作的能力，分为图像可接受性与文档记录两类任务。
正文 · AI 翻译
摘要：通过指导增强工人在物理世界中的能力，是 AI 智能体数十年来的目标。一项关键支撑能力是理解工人正在做什么，通过人的摄像头或智能眼镜进行观察，并协助他们完成文档记录。尽管视觉语言模型取得了进展，但它们在这些场景中的能力仍不确定，且难以进行基准测试，因为大多数物理工作数据是专有的，并且涉及太多变异性，难以以有原则的方式进行研究。与厨房和仓库等具有可预测光照、几何结构和物体的结构化场景不同，面向现场的任务（如屋顶太阳能安装和车辆维修）不受约束且方差很高。在此，我们在 Blender 中对跨越十一个环境的真实世界物理工作进行建模，并纳入图像可接受性和文档记录的变体。可接受性任务询问某个特定视图是否适合作为工作证明，而文档记录任务询问智能体能否从该视图理解环境中与任务相关的状态。在 26 个视觉语言模型中，我们发现顶级模型在很大程度上能解决答案为画面内文本的文档记录任务，但在读取测量值以及判断小部件和空间关系（例如卷尺是否倾斜）方面较弱。可接受性更难确定，因为人类评分者彼此不一致。以与评分者多数意见一致频率约等于单个评分者的评分器为基准进行衡量，最佳模型无法与单个非作者评分者区分开来，其成本处于人类通过范围的区间内。在我们可以追踪可接受性错误的三个环境中，大多数错误拒绝来自对场景的误读，而非对要求的误读。在我们拥有真实图像的三个文档记录问题上，模型在渲染帧上的排名可迁移到真实图像。
| 评论： | 28 页，3 幅图，14 张表。数据：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14397 [cs.CV] |
| （或 arXiv:2610.14397v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.14397 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Andrew Perrault [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 23:41:20 UTC（4,422 KB）
[v2]
2026 年 10 月 14 日星期三 02:49:35 UTC（4,422 KB）
来源：arXiv cs.CL · arxiv.org