arXiv cs.AI· Yanis Merzouki, Coral Izquierdo, Matei Ignuta-Ciuncanu, Marcos Gomez-Bracamonte, Riccardo Maggioni, Alessandro Lombardi, Camilla Mazzoleni, Federico Martelli, Balazs Gunther, Jonas Petersen, Philipp Petersen·· 6 天前AI 评分31
FactoryBench：评估工业机器理解能力的基准
FactoryBench: Evaluating Industrial Machine Understanding
AI 导读
研究者推出 FactoryBench，用于评估时间序列模型和 LLM 在工业机器人遥测数据上的机器理解能力。该基准包含超 7 万条 Q&A，覆盖因果阶梯四个层级和五种答案格式，数据源自 UR3 协作机器人与 KUKA KR10 工业机械臂采集的 FactoryWave 数据集。六款前沿 LLM 零样本评测均未在结构化层级超过 50%，决策任务不超过 18%。
正文 · AI 翻译
作者：Yanis Merzouki、Coral Izquierdo、Matei Ignuta-Ciuncanu、Marcos Gomez-Bracamonte、Riccardo Maggioni、Alessandro Lombardi、Camilla Mazzoleni、Federico Martelli、Balazs Gunther、Jonas Petersen、Philipp Petersen
摘要：我们提出 FactoryBench，一个用于评估时间序列模型和 LLM 在工业机器人遥测数据上进行机器理解能力的基准。问答对沿四个因果层级（状态、干预、反事实、决策）组织，实例化 Pearl 的因果阶梯，并涵盖五种答案格式：四种结构化格式采用确定性评分，自由形式答案由 LLM 作为评判者的投票协议评分。我们提出一个围绕结构化问题模板构建的可扩展问答生成框架，呈现 FactoryWave（一个从 UR3 协作机器人和 KUKA KR10 工业机械臂采集的密集、多任务、多变量传感器数据集），并构建 FactoryBench 作为大规模基准，包含超过 7 万个问答项，基于来自 FactoryWave、AURSAD 和 voraus-AD 的大约 1.5 万个归一化片段。对六个前沿 LLM 的零样本评估表明，没有模型在结构化层级上超过 50%，或在决策制定上超过 18%，揭示出当前模型与操作级机器理解之间的巨大差距。
| Comments: | Oral at PUDM, NeurIPS 2026. Code: this https URL |
| Subjects: | Artificial Intelligence (cs.AI)；Machine Learning (cs.LG) |
| MSC classes: | cs.AI (primary), cs.RO, cs.LG, cs.CL |
| ACM classes: | I.2.6; I.2.9 |
| Cite as: | arXiv:2605.07675 [cs.AI] |
| （或 arXiv:2605.07675v2 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.07675 由 DataCite 提供的 arXiv 颁发 DOI |
Submission history
来自：Jonas Petersen [查看电子邮件]
[v1]
2026 年 5 月 8 日星期五 12:47:05 UTC（13,609 KB）
[v2]
2026 年 10 月 8 日星期四 21:27:23 UTC（14,138 KB）
来源：arXiv cs.AI · arxiv.org