arXiv cs.CY· Alexander Loth, Martin Kappes, Marc-Oliver Pahl·· 10 小时前AI 评分49
JudgeGPT 研究：人类无法可靠分辨 LLM 生成的新闻
Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News
AI 导读
基于 JudgeGPT 平台收集的 1054 名参与者对六个 LLM 生成内容的 2318 次判断，研究发现人类无法可靠区分机器生成与人类撰写的文本（p > .05），且该结论适用于包括 7B 参数开源模型在内的所有测试模型。自评领域专长可预测判断准确率（r = .35），而政治倾向无显著影响；连续约 30 次评估后准确率因认知疲劳下降。研究认为用户侧检测不可行，需转向加密内容溯源等系统级手段。
正文 · AI 翻译
摘要：人类能否分辨一篇新闻文章是由人还是由大语言模型（LLM）撰写的？我们使用 JudgeGPT 研究这一问题，该研究平台以连续量表独立测量来源归属（人类 vs. 机器）和真实性判断（真实 vs. 虚假）。基于来自 1,054 名参与者、针对六个 LLM 生成内容的 2,318 份判断，我们报告五项发现：（1）参与者无法可靠区分机器生成文本与人类撰写文本（p > .05，Welch t 检验）；（2）这一无法区分的情况在所有测试模型上均成立，包括参数少至 7B 的开放权重模型；（3）自我报告的专业领域知识可预测判断准确率（r = .35，p < .001），而政治倾向则不能（r = -.10，n.s.）；（4）聚类分析揭示了不同的响应策略（“怀疑者” vs. “相信者”）；（5）在约 30 次连续评估后，准确率因认知疲劳而下降。简而言之，答案是否定的：人类无法可靠分辨。这些结果表明，用户侧检测并非可行的防御手段，并推动系统级对策，如密码学内容溯源。
| 评论： | 6 页，6 幅图，1 张表。发表于 WebSci Companion '26 的论文作者版本，第 34-39 页 |
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；计算与语言（cs.CL）；人机交互（cs.HC） |
| ACM 分类： | H.5.2; H.1.2; K.4.2; I.2.7 |
| 引用为： | arXiv:2604.03755 [cs.CY] |
| （或本版本使用 arXiv:2604.03755v2 [cs.CY]） | |
| https://doi.org/10.48550/arXiv.2604.03755 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 2026 年第 18 届 ACM 网络科学会议配套论文集（WebSci Companion '26），第 34-39 页 |
| 相关 DOI： | https://doi.org/10.1145/3795513.3807431
链接到相关资源的 DOI |
提交历史
来自：Alexander Loth [查看电子邮件]
[v1]
2026 年 4 月 4 日星期六 15:03:42 UTC（1,197 KB）
[v2]
2026 年 10 月 29 日星期四 22:00:44 UTC（1,178 KB）
来源：arXiv cs.CY · arxiv.org