东京都立大学论文：LLM 版本更迭令 AI 文本检测器大幅失效

Rohan Paul· @rohanpaul_ai · X·2026-10-10 16:01· 24 分钟前AI 评分62

AI 导读

东京都立大学等机构的论文发现，基于厂商旧模型训练的 AI 文本检测器在模型代际更迭前可捕获 99% 以上的改写，更迭后仅捕获 3.8%。论文用 4,000 篇前 ChatGPT 时代摘要由 25 个 LLM 版本改写进行测试；引用案例中 Pangram 漏掉 79.8% 被 Meta Muse-Glimmer 改写的科学摘要，但对 5,000 篇人写摘要仅误报 1 篇，作者建议每次模型发布都重新验证检测器。

正文

这篇论文发现，基于厂商旧模型训练的 AI 文本检测器在代际更迭前能捕获超过 99% 的改写，更迭后仅捕获 3.8%。

用于筛查科学论文中 AI 写作的检测器，在新一代 LLM 出现后可能失效，因此依赖它们的人应在每次模型发布时重新测试。

引用Rohan Paul@rohanpaul_ai

AI 文本检测器 Pangram 漏掉了 79.8% 被 Meta 的 Muse-Glimmer 改写的科学摘要，而 5,000 篇人类摘要中仅标记出 1 篇。在东京都立大学的一篇新论文中，研究人员发现 Pangram 漏掉的 AI 改写摘要比例在很大程度上取决于 LLM 版本这表明它捕获了 93.5% 的 GPT-5 改写，却漏掉了另一个新模型的 79.8%。其漏检率主要取决于由哪个模型进行改写。

在 X 查看被引用的帖子

来源：Rohan Paul · x.com