arXiv cs.CL· Stanislav Kirichenko·· 10 小时前AI 评分31
同一来源、不同判定：文本生产条件干扰俄语机器生成文本检测
Same Origin, Different Verdicts: Text Production Conditions Confound Machine-Generated Text Detection in Russian
AI 导读
一项针对 1882 篇俄语文档的研究发现，文本生产条件本身会干扰机器生成文本检测：在机器语料内部固定来源、仅改变任务措辞，四种机器相似度度量中有三种得分负向偏移、judge 模型却正向偏移，且四个置信区间均不含零。
正文 · AI 翻译
摘要：机器生成文本的自动检测被应用于判定结果会给作者带来代价的场景，然而来源是生成过程的属性，而非文本的可观察属性。文本生成时所处的条件会将其推向与生成模型被推定会推向的同一方向。本研究在来源固定的情况下测量这些条件的贡献。俄语语料库包含 1882 份文档，其中机器部分由四个生成通道（每个通道背后各有自己的模型家族）在三种任务模式下的 45 项任务中生成，档案人类部分则在文本被阅读之前按来源规范化程度进行了标注。主要对比在机器语料库内部计算：一对文本的两半均由同一模型为同一任务生成，仅在任务措辞上不同。机器相似度通过四种操作化方式测量：一个权重在数据收集前即固定的可解释指数、一个训练过的分类器、一个开放模型上的零样本指标、一个评判模型。主要结果是各程序之间的不一致：改变任务模式使全部四种程序的分数都发生了偏移，但三种给出负向偏移，评判模型给出正向偏移，且四种程序的区间均不覆盖零。比较方案及程序 2-4 的规格是在程序 1 的结果之后、程序 2-4 运行之前确定的；该不一致在修正语料库缺陷和嵌套验证后依然存在。仅基于来源标识符的基线在其有定义的十三个分组划分上达到中位 AUROC 1.0000，而移除强调标记后，一个自信的机器判定被翻转为人类，而全文未改动一个字符。这些分数是特定测量系统和语料库的属性：它们既反映语言风格，也反映数据收集、重复、格式化和预处理决策。
| 评论： | 65 页，6 幅图，24 张表。冻结俄语手稿的英文译本；俄语文本为记录来源，并可在 此 https URL（v1.0.1）获取全部数据、代码和运行清单 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05385 [cs.CL] |
| （或 arXiv:2611.05385v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05385 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Stanislav Kirichenko [查看电子邮件]
[v1]
2026 年 8 月 3 日星期一 09:03:28 UTC（115 KB）
来源：arXiv cs.CL · arxiv.org