LLM4SCREENLIT：系统综述文献筛选中 LLM 性能评估建议

查看 PDF

摘要：背景：大语言模型（LLM）越来越多地被用于为系统综述（SR）筛选文献，但用于评估它们的标准混淆矩阵指标在筛选所面临的类别不平衡、成本不对称条件下可能产生误导。
目标：我们制定并论证 LLM4SCREENLIT——面向开展 LLM 筛选评估的研究人员以及评估此类研究的编辑和审稿人的实用建议——并按研究类型（回顾性基准测试 vs 针对特定 SR 的部署）加以区分。
方法：以 Delgado-Chaves 等（2025）——一项覆盖三项生物医学 SR 的 18 个 LLM 基准测试——作为动机示例，我们另外审阅了 28 篇论文并提取其报告的指标。我们提出加权马修斯相关系数（WMCC），它将 MCC 的机会校正与非对称误分类成本相结合，并在三项软件工程（SE）再分析中对其进行了验证，其中最大的一项覆盖 9 个 LLM × 24 项 SE 二次研究（34,528 篇文章）。
结果：在 29 篇论文中，仅 10% 报告了 MCC，仅 24% 报告了完整混淆矩阵，而声称节省工作量的五篇论文中没有任何一篇对假阴性成本进行定价。在最大的 SE 再分析中，MCC 与 WMCC 在 55% 的可评估研究中就最佳 LLM 的判断不一致；在最引人注目的 9,695 篇文章的 SE 研究中，准确率最佳的 LLM 丢失了 63.3% 的相关证据（丢失证据），MCC 最佳者丢失 43.9%，而 WMCC 最佳者仅丢失 5.8%。敏感性分析（中位交叉点约为 w~=2.7，全部 <7）支持将 w=10 作为保守默认值。
结论：SR 筛选评估应优先关注丢失证据，并使用成本敏感的 WMCC 与 MCC 一起进行排序。报告必须包含完整混淆矩阵，并将无法分类的输出视为需要人工复核的阳性。设计应具备泄漏意识，当研究旨在为 SR 实践提供信息且标签可用时，应设置非 LLM 基线。

评论：	请引用已发表版本：Lech Madeyski, Barbara Kitchenham, Martin Shepperd, Information and Software Technology 198 (2026) 108204, this https URL \| v3 以正式发表版本（开放获取，CC BY 4.0）取代预印本。20 页，6 幅图
主题：	软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG）
ACM 分类：	I.2；D.2
引用为：	arXiv:2511.12635 [cs.SE]
	（或本版本使用 arXiv:2511.12635v3 [cs.SE]）
	https://doi.org/10.48550/arXiv.2511.12635 arXiv 颁发的 DOI（通过 DataCite）
期刊参考：	Information and Software Technology 198 (2026) 108204
相关 DOI：	https://doi.org/10.1016/j.infsof.2026.108204 链接到相关资源的 DOI

提交历史

来自：Lech Madeyski [查看电子邮件]
[v1] 2025 年 11 月 16 日星期日 15:04:50 UTC（305 KB）
[v2] 2026 年 4 月 25 日星期六 21:51:20 UTC（325 KB）
[v3] 2026 年 11 月 11 日星期三 16:35:31 UTC（2,618 KB）