arXiv cs.CL· Ziyuan Wang, Genliang Zhu, Xiaobo Chen·· 10 小时前AI 评分52
研究审计 AI 文本改写工具：事实与检测表现如何
Humanized but Still True? Auditing Facts and Detection in AI-Text Humanizers
AI 导读
一项 arXiv 论文审计 AI 文本改写工具（humanizer）是否保留可核查细节。在 2026 年 10 月的公开榜单周期中，11 款商业工具全部在 35-65% 含数字、日期、人名或引文的文档里改动或删除了至少一项，多数改动落在引文上；仅统计数字和人名时，11 款中仍有 10 款在 20% 以上文档中改动至少一项。
正文 · AI 翻译
摘要：AI“人性化工具”会改写机器生成的文本，使检测器将其归类为人类撰写。公开排行榜以规避效果和嵌入相似度评分，却不评估可核查的细节是否得以保留。我们使用基于规则的检查器，检查数字、日期、人名与机构名以及引文片段在每次改写后是否保留；该检查器经两名 AI 标注员验证（精确率 0.84-1.00，召回率 0.93-0.95；无人工标注）。在公开人性化工具排行榜 2026 年 10 月的评测周期中，全部 11 款商业工具在含有上述单元的文档中，有 35-65% 的文档至少有一个单元被改动或删除。多数改动发生在引文片段上；仅统计数字和名称，11 款工具中仍有 10 款在 20% 或更多的文档中改动了至少一项。2026 年 9 月的评测周期情况类似（19-50%）。一个开放的 12B 人性化模型在事实密集的美国联邦机构文本中保留了至少 97% 的数字和名称，但改写了 67-78% 的引文片段，违背了其自身提示词。在各工具之间，单元保留率与检测器规避效果并无明显关联（Spearman rho = -0.46，95% CI -0.65 至 0.08），且该开放模型发布的四个文件（其中两个为量化感知低比特文件）未呈现预注册的单调权衡关系。在具有匹配的人类、AI 风格和人性化版本的联邦文本上，通用决策模型 Jev 通过一个零样本问题，将人类原文与人性化改写区分开，AUROC 为 0.864（0.827-0.902），比 Binoculars、Fast-DetectGPT 和经对抗训练的 RADAR 高出 0.18-0.22，同时在 0.5 阈值下将 24% 的人类原文判为 AI。在 2026 年模型生成的 AI 风格改写文本上，两种基于困惑度的检测器得分均低于随机水平（AUROC 0.37 和 0.39），去除换行符后亦然。假设、数据规则和分析均在主要运行前冻结；披露了两次较早的数据接触。我们发布了检查器和逐项结果。
| 评论： | 11 页，2 幅图，4 张表。代码与数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.00359 [cs.CL] |
| （或 arXiv:2611.00359v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.00359 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyuan Wang [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 20:36:08 UTC（57 KB）
来源：arXiv cs.CL · arxiv.org