arXiv cs.CL· Hongcheng Gao, Hailong Qu, Yu Lei, Henghui Sun, Haoyang Li, Yipeng Wei, Naihao Xue, Xiaohan Yu, Zhuo Tao, Yihe Zang, Yajiao Wang, Jingyi Tang, Yi Li, Jingjing Zhou, Jie Luo, Bohan Zeng, Chengyu Shen, Hao Jiang, Chong Chen, Bowen Qu, Olive Huang, Zeqiang Wang·· 6 天前AI 评分37
EngiWorld：前沿智能体在专业工程环境中能交付什么？
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
AI 导读
研究者发布 EngiWorld 基准，包含 1301 个专家标注任务，覆盖 CAD、CAE、CAM、BIM、EDA、DCC 六大工程领域和 26 款专业软件，提供 GUI 与 CLI 接口。
正文 · AI 翻译
作者：Hongcheng Gao、Hailong Qu、Yu Lei、Henghui Sun、Haoyang Li、Yipeng Wei、Naihao Xue、Xiaohan Yu、Zhuo Tao、Yihe Zang、Yajiao Wang、Jingyi Tang、Yi Li、Jingjing Zhou、Jie Luo、Bohan Zeng、Chengyu Shen、Hao Jiang、Chong Chen、Bowen Qu、Olive Huang、Zeqiang Wang
摘要：自主智能体在通用计算机使用方面已取得快速进展，但专业工业工程的可靠自动化仍遥不可及。工程工作流需要对几何与物理约束进行推理，并在软件与设计阶段之间保持依赖关系一致。我们提出 EngiWorld，这是一个围绕真实工程项目所需能力设计的基准，涵盖从操作单个应用程序到端到端解决工程问题。它包含 1,301 个由专家精心策划的任务，跨越六个工程领域（CAD、CAE、CAM、BIM、EDA 和 DCC）和 26 个专业软件应用，同时具备 GUI 和 CLI 界面。这些任务被组织为六种类型，对应真实工程项目所需的能力。我们进一步引入了一种以工件为中心的评估方法，建立在统一的领域验证器套件之上。这些验证器以程序化方式检查最终和中间工件在几何上是否有效、物理上是否可行，以及是否符合设计规则。除二元成功之外，它们还会对优化设计满足其规格的程度进行评分。对七个前沿模型的评估揭示出显著的能力差距：最强模型仅得分 44.7/100，而在需要跨软件协调的任务上，仅有 3.6% 的运行成功。EngiWorld 为衡量智能体在端到端操作专业工程软件方面的进展提供了严谨的基础。
| Comments: | 项目页面：this https URL |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.37686 [cs.AI] |
| （或 arXiv:2609.37686v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37686 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Lei [查看电子邮件]
[v1]
2026年9月29日星期二 14:32:35 UTC（8,071 KB）
[v2]
2026年10月9日星期五 08:15:21 UTC（8,272 KB）
来源：arXiv cs.CL · arxiv.org