跳到正文
arXiv cs.AI· Ziyi Jiao, Heng Zhang, Drishti Regmi, Xiaokang Ye, Lianhui Qin, Peter Yichen Chen·· 10 小时前AI 评分31

DuoCook:受 Overcooked 启发的视觉规划与协作基准

DuoCook: An Overcooked-Inspired Benchmark for Visual Planning and Coordination

AI 导读

DuoCook 是一个受 Overcooked 启发、在 Unreal Engine 环境中构建的视觉规划与双人协作基准,包含五大类共 20 张地图,由单个视觉语言模型通过每名玩家独立的决策调用同时控制两名玩家。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在烹饪任务中协调两名玩家,要求视觉语言智能体在时间预算内跟踪不断变化的场景状态、安排食谱步骤顺序并分配共享资源。我们推出一个受 Overcooked 启发的基准,用于在由编码智能体构建的 Unreal Engine 环境中评估这些能力。单个视觉语言模型通过分别针对每名玩家的决策调用,从俯视视觉观察中控制两名玩家,选择高层动作和图像标注的目标单元格,同时由引擎执行导航。该基准包含五大类别共 20 张地图。这些类别支持评估在设备争用、地形变化和交接依赖下的双人协调。道具图例和锅具食材数量指示器提供明确的视觉线索,而基于网格的目的地支持空间定位;文本不提供任何站点坐标,因此目标位置主要来自图像。评估在全部 20 张地图上比较五个 VLM 和一个具有特权信息的脚本化参考策略,衡量任务得分、订单完成情况、交付精度、瞄准准确率和模型 API 开销。在全部 20 张地图上进行的两组配对消融实验分别切换共享的自编笔记本,并将文本提示从约 3,600 词减少到约 440 词,同时保持图像不变。最强模型完成了 35% 的订单,并超过了可访问真实站点信息的脚本化参考策略;笔记本效应在符号上不一致且不具备统计可靠性,而减少提示文本会降低两个模型的得分,另外三个模型则几乎不变。总之,环境设计和评估协议提供了一个框架,用于研究视觉状态跟踪和任务调度如何促进协调烹饪行为。
主题: 人工智能(cs.AI)
引用为: arXiv:2610.31511 [cs.AI]
  (或 arXiv:2610.31511v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.31511

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Heng Zhang [查看电子邮件]
[v1] 2026年10月22日星期四 16:26:38 UTC(24,602 KB)
[v2] 2026年11月18日星期三 15:34:45 UTC(24,492 KB)

来源:arXiv cs.AI · arxiv.org