LLM 在软件工程系统综述中的筛选性能是否已停滞？

查看 PDF HTML（实验性）

摘要：系统综述（SR）中的筛选工作是人工完成的，且耗时较长。此前已有研究探索使用大语言模型（LLM）来自动化这一步骤，但 LLM 发展迅速，因此早期的性能结论可能已无法准确反映其当前的筛选表现。我们使用现有的软件工程系统综述筛选基准（SESR-Eval）作为数据。我们还通过功效抽样构建了一个新的、更小的数据集（SESR-Eval-Mini），以便以更低的成本进行评估。基于这些数据，我们评估了八个新 LLM 的筛选表现。此外，我们测试了不同的提示词，分析了 LLM 在筛选决策和标准上的一致性，并考察了细化纳入与排除标准对筛选表现的影响。这八个新 LLM 的表现仅略优于此前的七个：在二次研究上的平均 MCC 从 0.347 上升到 0.365。二次研究之间的差异仍然大于 LLM 之间的差异。由标准层面的决策计算总体筛选决策仅略微降低了筛选表现。LLM 在相应的筛选决策上总体彼此一致（平均 Gwet's AC1 = 0.830），不过某些纳入和排除标准显示出比其他标准更大的分歧。细化纳入与排除标准略微提高了召回率，并使某些 LLM 的决策更容易，但标准细化的总体影响有限。LLM 尚未准备好在论文筛选中取代人类，而新的、成本更高的模型所带来的优势似乎非常有限。基于智能体的方法、提示词工程以及进一步细化标准是三个潜在的未来研究方向。

提交历史

发件人：Aleksi Huotala [查看电子邮件]
[v1] 2026年10月7日星期三 13:25:54 UTC（196 KB）