arXiv cs.CL· Anastasia Voznyuk, Andrey Grabovoy·· 6 天前AI 评分22
机器生成文本检测器中的伪影依赖问题研究
Measuring Artifact Reliance in Machine-Generated Text Detectors
AI 导读
一项被 EMNLP 2026 DocInsights workshop 接收的研究发现，机器生成文本检测器在科学文献基准上的高分部分源于 PDF 提取伪影：人类文本保留原始换行，生成文本被提取为单一文本块。
正文 · AI 翻译
摘要：机器生成文本检测器在科学文献基准测试中几乎能拿到满分，这意味着我们可以用这些检测器可靠地区分人类撰写的文档和机器生成的文档。我们考察了来自六个常用资源的十个科学文档子集，发现在其中若干子集上，这种表面上的轻松其实是文档组织方式的副作用。一个使用 27 个表层特征的逻辑回归达到了 0.833-0.997 的宏 F1，而在三个 arXiv 子集上，它以 0.951-0.997 的 F1 分数超过了我们评估的所有检测器。检测器最强的线索是 PDF 提取伪影：人类文本保留了原有的换行，而生成文本则被提取为单块散文。这一线索连同另外三个格式特征，能以 0.996 的 AUC 区分两类样本。为了区分包含此类信号的基准测试与依赖该信号的检测器，我们引入了格式反事实：仅仅重新排版一篇机器撰写的摘要而不改动任何一个词，就能逆转某个公开检测器 20-27% 的正确判断。在训练前对格式进行归一化，可将泛化差距从 0.32 降至 0.22。在格式干净的基准测试上，对于在含伪影子集上训练的检测器，它还能将域外宏 F1 从 0.33 提升至 0.65。
| 评论： | 已被 EMNLP 2026 的 DocInsights 研讨会接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13583 [cs.CL] |
| （或 arXiv:2610.13583v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13583 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Anastasia Voznyuk [查看电子邮件]
[v1]
2026年10月9日星期五 13:34:45 UTC（59 KB）
来源：arXiv cs.CL · arxiv.org