arXiv cs.AI· Risha Parveen, Najmeh Akbari, Farnaz Delirie, Zheying Zhang, Fran\c{c}ois Christophe, Jussi Rasku, Pekka Abrahamsson·· 10 小时前AI 评分18
Ask the Peers:面向需求评审的 NFR 覆盖缺口排序
Ask the Peers: Ranking NFR Coverage Gaps for Requirements Review
AI 导读
研究将 NFR 覆盖缺口评审建模为项目级排序任务,对 11 个 PROMISE NFR 类别排序供分析师检查,并比较七种统计、嵌入向量与 LLM 配置。在完全移除某类别的受控缺口注入下,四种使用同类项目类别统计的配置表现接近(平均 AUROC 0.875-0.889),将统计提供给直接 LLM 排序器带来最大证据增益。所有配置在类别存在但覆盖不足时均变弱,且没有单一配置在所有 NFR 类别上最优。
正文 · AI 翻译
摘要:缺失或代表性不足的非功能需求(NFR)类别在需求集中留下的直接证据很少,使其在需求评审过程中难以被识别。在本研究中,我们将 NFR 覆盖缺口评审构建为项目级排序任务:给定目标需求规格说明,目标是对 11 个 PROMISE NFR 类别进行排序以供分析师检查。我们比较了七种统计、基于嵌入和基于大语言模型(LLM)的配置,这些配置在排序机制和证据来源上均有所不同,包括目标需求陈述、同类需求、其语义表示以及同类类别统计。我们使用受控缺口注入,并在 PROMISE、PROMISE+、PURE-Transport 和 PURE-Business 上采用留一项目评估来评估这些配置。在完全移除的情况下,使用同类类别统计的四种配置实际上不相上下(平均 AUROC 为 0.875-0.889),尽管排序机制不同,而将这些统计提供给直接 LLM 排序器可产生最大的证据增益。当某个类别存在但代表性不足时,所有配置都会减弱,且没有一种配置对每个 NFR 类别都是最佳的。对于改变数量的类别级缺口,结构化同类证据比排序器的复杂程度更重要。研究结果表明,这些排序应指导分析师检查,而不是作为需求完整性的自动判断。
| 评论: | 该论文的预评审版本随后被 PROFES 2026 接收发表 |
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23296 [cs.SE] |
| (或 arXiv:2611.23296v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23296 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Risha Parveen [查看电子邮件]
[v1]
2026年11月3日星期二 09:55:21 UTC(1,048 KB)
来源:arXiv cs.AI · arxiv.org