arXiv cs.AI· Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu·· 11 小时前AI 评分31
MARQ：融合系统工程知识的模块化、LLM 无关需求质量评估器
MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge
AI 导读
研究团队提出模块化、LLM 无关的需求质量评估原型 MARQ，通过注入 INCOSE 需求质量准则的专家知识栈增强 LLM。
正文 · AI 翻译
摘要：需求工程（RE）是系统工程（SE）的基础，因为需求缺陷可能向下游传播并对开发结果产生不利影响。尽管大语言模型（LLM）在需求质量评估方面具有前景，但先前的研究表明，现成模型会漏掉很大一部分专家识别出的缺陷，在不同质量准则上的表现不均衡，并且在不同执行之间也存在差异。本研究探讨注入专家衍生的 SE 知识能否在现成能力之外提升基于 LLM 的需求质量评估。我们提出 MARQ，一个模块化、与 LLM 无关的原型，它通过一个针对特定准则的知识栈来增强 LLM，该知识栈将 INCOSE 需求质量准则操作化，并在一个由专家标注的 NASA 需求集上，使用 Claude Opus 5、GPT-5.6 Sol 和开放权重的 Gemma 3 12B 对现成基线进行评估，每个模型执行 100 次。MARQ 的中位 F1 分数为 Claude Opus 5 的 0.80、GPT-5.6 Sol 的 0.62 和 Gemma 3 12B 的 0.53，而现成基线分别为 0.55、0.52 和 0.18。然而，这些提升的性质因模型而异。Claude Opus 5 改善了缺陷检测和误报控制；GPT-5.6 Sol 获得了检测提升和更好的执行级一致性，代价是更多误报；Gemma 3 12B 达到了现成专有模型的性能，尽管它仍然高度不稳定。准则级分析显示，提升集中在正确性和符合性上，在单个准则内存在漏检与误报之间的权衡，并且在若干准则上表现出因模型而异的响应。这些发现将 SE 知识注入定位为一条有前景的、与模型无关的路径，用于加强可信的基于 LLM 的 RE 支持，同时强调需要针对特定准则的干预和人在回路中的审查。
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.36234 [cs.AI] |
| （或 arXiv:2610.36234v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36234 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jannatul Shefa [查看电子邮件]
[v1]
2026年10月26日星期一 20:12:11 UTC（1,722 KB）
来源：arXiv cs.AI · arxiv.org