arXiv cs.AI· Ardalan Aryashad, Yan Jin·· 10 天前AI 评分24
SEMAADB：面向连贯多图 SysML 模型的验证数据集与基准
A Validated Dataset and Benchmark for Coherent Multi-Diagram SysML Models
AI 导读
研究者发布 SEMAADB，一个包含 3,000 个工程上下文和 15,000 张图的 SysML 数据集，每个上下文含需求、块定义、活动、状态机、序列五种相互关联视图，其中 100 个上下文经人工校验构成基准测试集。在三个语言模型的两项任务评测中，最强模型修复了 64.3% 的语义错误，跨图更新最佳传播 F1 为 80.7%。结果表明语法修复已接近解决，语义修复与跨图一致性仍是难题。
正文 · AI 翻译
摘要：系统工程师使用多种图来描述系统的结构和行为。工程师们共同创建这些图，以确保它们使用相同的元素并彼此保持一致。大语言模型可以将图生成为文本或代码，这使得自动创建系统图成为可能。然而，它们生成连贯图集的能力尚未被充分理解，现有的数据集和基准测试并未大规模直接衡量这一能力。我们提出了 SEMAADB（Systems Engineering Modeling Assistant with AI Dataset and Benchmark），这是一个包含 3,000 个工程上下文和 15,000 张图的数据集。每个上下文包含五个相互关联的 SysML 视图：需求、模块定义、活动、状态机和序列。这里，视图是展示系统某一方面的图。我们检查了图集的一致性和有效渲染。其中 100 个上下文还经过人工验证，构成基准测试集。我们在两项任务上评估了三个语言模型。在图修复任务中，最强的模型修复了 64.3% 的语义错误。在跨图更新任务中，当模型将一项更改应用到相关图时，最佳传播 F1 为 80.7%。结果表明，语法修复已接近解决，但语义修复和图间一致性对模型而言仍是具有挑战性的任务。因此，SEMAADB 既提供了大型图资源，也提供了一组用于衡量连贯多图 SysML 生成的基准。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07356 [cs.SE] |
| （或使用 arXiv:2610.07356v1 [cs.SE] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.07356 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ardalan Aryashad [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 20:23:38 UTC（45 KB）
来源：arXiv cs.AI · arxiv.org