GUEST：用 GenAI 与 LLM 支持系统文献综述的使用与评估初步指南

查看 PDF HTML（实验性）

摘要：背景：生成式人工智能（GenAI）和大语言模型（LLMs）越来越多地被用于软件工程及其他领域的学术任务，包括系统文献综述（SLRs）。然而，尽管它们的能力正在迅速发展，但并不能保证它们能够满足 SLRs 所要求的严谨性、可靠性和透明度。目标：为打算使用 GenAI 进行 SLRs 的研究人员，或那些开展实证研究以评估 GenAI 对 SLR 任务支持程度的研究人员提供支持。方法：首先，我们进行了一项快速综述，以识别提出评估和使用 GenAI 及 LLMs 支持 SLRs 的指南的研究。其次，我们借助思想实验、文献中的相关指导以及我们自己开展 SLRs 和评估工具的经验，制定了关于如何在 SLRs 背景下使用和评估 GenAI 的建议。结果：我们将评估和综述角色的方法学问题分为四类，涵盖 SLR 实践调整、一般二次研究标准、GenAI 评估实践和核心实证严谨性。在此基础上，我们引入了 GUEST（GenAI Use and Evaluation in SLR Tasks），这是一个包含 51 条建议的综合框架，旨在指导研究人员规划、执行和透明报告 GenAI 辅助的文献综述和验证研究。结论：当前的实证证据表明，不能依赖 GenAI 执行无监督的系统综述，因此需要人工监督。尽管如此，它仍可为重复性筛选任务和二次验证提供具有成本效益的协助。通过标准化这些工具的部署和评估方式，GUEST 框架为软件工程中可信赖的 GenAI 辅助研究提供了必要的方法学基线。

提交历史

来自：Lech Madeyski [查看电子邮件]
[v1] 2026年7月27日星期一 18:43:35 UTC（80 KB）
[v2] 2026年10月29日星期四 16:42:58 UTC（91 KB）