arXiv cs.CL· Mehrdad Ghassabi, Audrina Ebrahimi, Zahra Zojaji, Amin Milani Fard·· 10 小时前AI 评分38
语言模型在 RAG 中表现出从众偏差：多数文档支持投毒声明时更难识别
Language Models Show Conformity Bias in RAG: When the Majority Endorses a Poisoned Claim
AI 导读
研究发现 RAG 场景下语言模型存在从众偏差：Gemma-3-12b 在检索文档中仅 1 篇投毒、6 篇健康时投毒识别率为 25%（50/200），而当 6 篇互相一致的投毒文档占据多数时识别率降至 10%（20/200）。在结果发生变化的 38 道 SciFact 题目中，34 道由识别转为未识别，仅 4 道反向变化（McNemar 检验 p = 6.04e-7）。
正文 · AI 翻译
摘要：检索增强生成（RAG）可能使语言模型接触到检索文档中的误导性证据。我们研究了增加相互一致的投毒文档数量是否会影响模型检测虚假信息的能力。我们评估了从 SciFact 中随机选取的 200 个问题（随机种子 38），比较了包含一篇投毒文档和六篇健康文档的上下文与包含六篇相互一致的投毒文档和一篇健康文档的上下文。对于 Gemma-3-12b，投毒检测率从少数条件下的 25%（50/200）下降到多数条件下的 10%（20/200）。在两种条件下结果不同的 38 个问题中，有 34 个从检测到变为未检测到，而只有四个朝相反方向变化（精确 McNemar 检验，p = 6.04e-7）。这一模式与对多数相互一致的投毒文档产生类似从众的反应相一致。我们的结果为基于 RAG 的虚假信息检测中的从众偏差提供了初步证据：当投毒主张在检索证据中占主导时，Gemma-3-12b 检测到它们的可能性显著降低。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41012 [cs.CL] |
| （或 arXiv:2610.41012v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41012 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mehrdad Ghassabi [查看电子邮件]
[v1]
2026年10月29日 星期四 21:45:09 UTC（22 KB）
来源：arXiv cs.CL · arxiv.org