MIT 与 Cornell 用测试时自适应让 AI 文本检测器跟上变化
MIT 与 Cornell 研究用测试时自适应让 AI 文本检测器跟上变化
MIT 与 Cornell 研究人员用测试时自适应(TTA)让已部署的 AI 文本检测器利用无标注新数据在线调整,无需从头重训。实验中,商用检测器对伪装 AI 文本的识别率仅约 27%,TTA 方法达到 93%;在模拟人类写作习惯自然变化的场景中,TTA 检测器准确率为 85%,传统方法为 73%。
MIT News·2026-11-18 13:00· 1 小时前AI 评分49
帮助 AI 文本检测器跟上不断变化的条件
AI 导读
MIT 与 Cornell 研究人员用测试时自适应(TTA)训练 AI 文本检测器,在实验中把伪装 AI 文本的识别率从商用检测器的约 27% 提升到 93%。在模拟人类写作习惯自然变化的场景中,TTA 检测器准确率为 85%,传统方法为 73%。该方法可让已部署的检测模型利用无标注新数据在线调整,无需从头重训。
正文 · 原文

一位怀疑学生的学期论文可能是由大语言模型(LLM)撰写的老师,可以使用检测人工智能生成文本的工具来帮助证实自己的怀疑。但这位老师或许应该三思,不要完全信任检测器。
来自 MIT 和 Cornell University 的研究人员表明,这类检测工具本身也是 AI 模型,可以被伪装成人类撰写的 AI 生成文本所欺骗。由于写作习惯随时间自然变化或新 LLM 的出现,检测器也可能无法识别 AI 文本。
在一篇新论文中,研究人员展示了一种特殊的训练技术如何让 AI 检测器更准确、更能抵御欺骗,即使人类和 AI 写作不断变化。
他们采用了一种称为测试时自适应的方法,使已部署的检测模型能够通过即时调整其内部机制,从新的无标注数据中学习。这样,模型无需从头重训就能适应未见过的输入。
在实验中,一款商用检测器只能识别出约 27% 的伪装 AI 生成文本,而新方法达到了 93% 的准确率。
该方法可以帮助教育工作者、编辑、出版商和招聘经理标记出人们试图冒充人类撰写的 LLM 生成文本。它还可以被网络安全专家用于防止电子邮件钓鱼诈骗或识别搜索引擎优化欺诈。
“在许多高风险场景中,人们确实很关心作者身份,从科学出版到短篇小说比赛都是如此。我们已经证明,测试时自适应能让你的 AI 检测器稳健得多,即使 AI 用户持续采取对抗行为也是如此,”研究合著者 Manish Raghavan 说。他是 MIT Sloan School of Management 的 Drew Houston(2005)职业发展教授,同时在 MIT Schwarzman College of Computing 的电气工程与计算机科学系(EECS)担任共享职位,并且是 Laboratory for Information and Decision Systems(LIDS)的首席研究员。
与他共同撰写该论文的还有第一作者、Cornell Tech 研究生 Kevin Ren,以及资深作者、Cornell Tech 助理教授 Nikhil Garg。这项研究将在 Conference on Neural Information Processing Systems 上展示。
欺骗检测器
能够生成类人文本的 LLM 大量涌现,催生了众多商用 AI 检测工具,帮助人们判断某篇文字是否由人类撰写。
但当这些检测工具评估的文本与其受训识别过的文本存在显著差异时,它们就可能失效。这被称为分布偏移。
检测器开发者通常通过从互联网收集他们确知为 AI 或人类生成的文本,来训练模型区分二者。
然而,一旦检测器发布,人们可能会改变自己的写作方式或使用 AI 生成文本的方式。
例如,2030年的人可能会使用2010年写作者不常用的新类比来撰写不同主题的内容。用2010年数据训练的检测器可能不熟悉这种新的写作风格,从而错误地将人类撰写的文本标记为AI生成。
检测模型的发布还会在其开发者和想要绕过它的用户之间引发一场猫鼠游戏。这些人可以通过自动化的“humanizer”软件工具处理AI生成的文本,使其经过修改后在检测器看来像是人类撰写的。
“公司发布模型后,一堆‘humanizer’就会冒出来试图击败它,于是公司尝试将这些经过humanizer处理的文本纳入训练,以便检测器能够识别它,如此循环往复。就像反复冲洗一样。这个循环可以永远持续下去,”Ren说。
研究人员探索了测试时自适应(TTA)能否使AI检测器对这些分布偏移具有韧性。
自适应在实践中
在TTA中,研究人员不是冻结模型使其在部署期间无法改变,而是允许模型在发布后自适应传入的数据。对于AI文本检测器来说,这些数据是用户上传的新文本片段。
这些数据没有标签,因此检测器开发者不知道哪些数据是人类撰写的,哪些是AI模型生成的。但这些新数据代表了当代人类和AI的写作——正是开发者希望模型能够预测的内容。
有了足够的示例,检测器就能学会识别模式,从而判断哪些数据是AI生成的,哪些是人类生成的。
研究人员通过创建包含一定数量AI生成和人类生成文本的数据集来研究TTA,但他们不向模型提供这些标签。他们还使用LLM生成了一些类似AI撰写文本的示例,专门用于规避检测器。
然后他们执行了TTA训练过程,并在真实标注数据上测试了模型。
在旨在模拟人类语言随时间自然变化的实验中,使用TTA的检测器准确率达到85%,而传统方法仅达到73%。
而在针对旨在阻挠检测工具的写作时,现有方法只能识别出约27%,而TTA使模型能够捕获超过93%的伪装文本。
“TTA有潜力真正帮助已部署的AI检测模型,使其能够主动应对对抗性AI用户的这种迭代‘博弈’行为,”Ren说。
他补充说,适应人类写作行为的变化是一个更困难的TTA问题,因为这些变化更缓慢,且以更微妙的方式发生。
研究人员警告说,随着未来LLM生成听起来更自然的语言,并且越来越难以找到可验证的人类文本用于训练,TTA可能并不总是一个有效的解决方案。
“目前还不完全清楚这是否会是一个可解决的问题,”Raghavan说。“在一个无法区分人类生成内容和AI内容的世界里,你应该如何看待科学、写作和艺术,存在一些重大的开放性问题。”
未来,研究人员希望探索TTA可能有用的类似战略领域,并构建更好的基准测试工具,帮助工程师以动态方式改进这些AI检测模型。
该项目使用了Pangram提供的API额度来使用其AI文本检测器。
来源:MIT News · news.mit.edu
来源:RadarAI · aihot.news