arXiv cs.AI· Fei Lin, Tengchao Zhang, Ziyang Gong, Xiaotong Yu, Bohan Zhang, Yifan Zhou, Qihao Yang, Ji Dai, Dong Li, Yining Jiang, Qinghua Ni, Jun Huang, Qiang Zhang, Yue Zhou, Zhihang Zhong, Yonglin Tian, Fei-Yue Wang, Xue Yang·· 11 小时前AI 评分38
BEAKER：面向自动驾驶化学实验室具身大脑的专家精选基准
BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories
AI 导读
研究团队推出 BEAKER，一个面向自驱动化学实验室（SDCL）具身大脑的评测基准，含 1000 条由化学与具身 AI 专家人工编写并审核的问答样本，覆盖 11 种图像与视频任务类型。
正文 · AI 翻译
作者：Fei Lin、Tengchao Zhang、Ziyang Gong、Xiaotong Yu、Bohan Zhang、Yifan Zhou、Qihao Yang、Ji Dai、Dong Li、Yining Jiang、Qinghua Ni、Jun Huang、Qiang Zhang、Yue Zhou、Zhihang Zhong、Yonglin Tian、Fei-Yue Wang、Xue Yang
摘要：自驱动化学实验室（SDCL）正推动化学实验走向具身自动化，其中机器必须感知实验室场景、推理实验状态，并在物理、流程和安全约束下行动。尽管多模态大语言模型（MLLM）日益被视为此类系统的具身大脑，但现有实验室基准主要关注安全性、异常检测或一般科学理解，其面向执行的具身能力仍未得到充分探索。为填补这一空白，我们提出 BEAKER，一个用于评估 SDCL 中具身可操作性、知识、实验与推理的基准。BEAKER 包含 1,000 个由专家整理的问答样本，涵盖 11 种图像和视频任务类型，覆盖化学实验室执行所需的关键判断，包括可供性定位、轨迹规划、设备、状态与安全识别、装置搭建、操作与步骤推理以及时序流程推理。所有问题和标注均由化学与具身人工智能（AI）专家人工创建并审核，未使用 AI 辅助生成或标注。我们在离线、单轮设置下评估了 28 个通用、科学导向、化学专用和具身 MLLM。结果表明，当前模型能够遵循视频中的粗略实验流程，但仍难以将动作定位到可操作区域和可行轨迹，难以识别细粒度实验室设备、状态和安全规范，也难以对中等长度流程中的步骤进行排序。因此，BEAKER 揭示了粗略流程理解与实验室执行所需的精确、动作定位感知之间的明显差距，为 SDCL 中未来的 MLLM 提供了诊断性基准。
| 评论： | 已被 NeurIPS 2026 接收（评估与数据集方向，Spotlight） |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06911 [cs.AI] |
| （或 arXiv:2611.06911v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06911 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fei Lin [查看邮箱]
[v1]
2026年11月4日星期三 18:57:17 UTC（20,405 KB）
来源：arXiv cs.AI · arxiv.org