研究：LLM 版本迭代削弱 AI 辅助科学写作的检测效果

查看 PDF HTML（实验性）

摘要：期刊和会议已开始筛查投稿稿件中由大语言模型（LLM）撰写的文本。这种筛查的可靠性依赖于针对一组固定 LLM 版本的基准评估，而实际使用的版本却在不断变化。在此，我们量化了这种 LLM 更替如何影响科学稿件的筛查。我们将来自《美国国家科学院院刊》的 4,000 篇 ChatGPT 之前的摘要，与由三家供应商于 2023 年 6 月至 2026 年 8 月间发布的 23 个 LLM 版本所生成的改写版本配对。随后，我们在从每有新版本就重新训练的检测器到仅训练一次且从不更新的检测器等一系列维护场景下训练检测器。仅基于某供应商过去版本训练的检测器，可能在模型代际边界处崩溃：在校准为将 1% 的人类撰写摘要误报的情况下，它们在最急剧的边界之前能捕获超过 99% 的改写，而在边界之后仅能捕获 3.8%。基于较晚版本训练的检测器也可能漏掉较早版本的改写。版本之间的词汇差异在很大程度上与检测能够迁移和失败的位置相对应。在我们模拟的两种筛查场景中，覆盖全部 23 个版本的筛查要么将八分之一的人类撰写摘要标记出来，要么漏掉最新版本三分之一的重写。事实上，一个商业检测器漏掉了最急剧边界之后那个版本的大多数改写，同时几乎未标记任何人类撰写的摘要。因此，科研诚信政策应将检测器的基准准确率视为暂定值，需在每次 LLM 发布时重新验证，包括较早版本。

学科：	计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY）；数字图书馆（cs.DL）；社会与信息网络（cs.SI）
引用为：	arXiv:2610.11599 [cs.CL]
	（或 arXiv:2610.11599v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11599 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Kazuki Nakajima [查看电子邮件]
[v1] 2026 年 10 月 8 日星期四 09:44:08 UTC（225 KB）