arXiv cs.CL· Abdelkader Metales, Miriam Grabenheinrich, Aicha Metales·· 10 小时前AI 评分49
副本不等于确认：新闻重复如何误导 LLM 评判器与持续学习器
Copies Are Not Confirmations: How News Duplication Fools LLM Judges and Continual Learners
AI 导读
在 20 万篇英文 CC-News 文章中，MinHash 检测器发现 18.9% 存在另一媒体的近重复副本，能关联 92% 的编辑转载，却无法识别 phi4、Llama 3.2 或 Gemini 2.5 Flash 的改写。
正文 · AI 翻译
摘要：许多关于某一说法的新闻报道都是同一来源的副本：通讯社稿件、媒体集团内部共享的内容、辛迪加专栏和新闻稿。我们考察 LLM 评判者和持续学习者在多大程度上把这类副本当作独立佐证。在 20 万篇英文 CC-News 文章中，MinHash 检测器将 18.9% 的文章与另一家媒体的近似副本关联起来（去除模板内容后精确率为 0.97）；它把 92% 的编辑重印稿关联到其原文，但未能关联 phi4、Llama 3.2 或 Gemini 2.5 Flash 的任何 LLM 改写稿。当向模型展示关于某个未知人物的同一说法的三份相同重印稿而非一份报道时，Llama 3.2 3B 和 phi4 14B 将其接受的谎言比例从 0.06 提高到 0.71，从 0.21 提高到 0.90，并且忽略了这些报道来自同一来源的提示；Gemini 2.5 Flash 本就相信单份报道，而 Gemini 2.5 Pro 会遵循来源注释和表格。在模拟的持续学习流中，对每个检测到的链条只向评判者展示一份报道，使四个评判者接受的复制谎言减少了 0.10–0.24，平均代价是接受的真实陈述最多下降 4.2 个百分点。针对改写副本，一项检验统计一份报道的命名实体中有多少未出现在更早的相似报道中，能以 AUC 0.98–0.99 将 LLM 改写稿与同一事件的 100 份带标注独立报道区分开，并仅误标一份；仅实体重叠也能达到同样效果，TF-IDF 和当前的一种嵌入模型接近该水平，而该检验对自然产生的同源衍生稿几乎无法识别。结合生成式改写网络的漏检模式，它将被接受的改写副本谎言从 0.67 降至 0.20（当改写者虚构细节时为 0.40）。仅统计报道数或链条数并非可靠的防御手段，来源信息的效果取决于评判者，而合谋来源仍是未解决的问题。代码与标注：此 https URL
| 评论： | 19 页，13 张表。代码、标注与结果：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2611.09203 [cs.LG] |
| （或 arXiv:2611.09203v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09203 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Abdelkader Metales [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 09:22:29 UTC（25 KB）
来源：arXiv cs.CL · arxiv.org