arXiv cs.CL· Mehrdad Ghassabi, Audrina Ebrahimi, Sadra Hakim, Hamidreza Baradaran Kashani, Zahra Zojaji, Amin Milani Fard·· 9 小时前AI 评分37
检测到投毒不等于能抵抗:RAG 中的推理与投毒上下文
When Detection Does Not Guarantee Resistance: Reasoning and Poisoned Context in RAG
AI 导读
在 200 道 SciFact 问题上对比 DeepSeek-V4-Flash 与 Qwen3.6-Plus 的推理开关配置后发现,开启推理让 DeepSeek-V4-Flash 的 Cordon Rate 从 0.205 降至 0.075。
正文 · AI 翻译
摘要:检索增强生成(RAG)使大语言模型面临知识投毒攻击,即注入检索文档中的虚假信息可能影响模型输出。已有研究表明,模型可能检测到矛盾证据,却仍允许其影响自身回答,这揭示了监控与控制之间的差距。我们研究审慎推理是否会改变这一关系。由于仅凭攻击成功率和投毒检测率无法揭示被检测到的投毒是否仍会影响最终答案,我们采用两项互补指标:Cordon Rate,即在模型未受投毒影响的无 RAG 回答条件下,模型检测到投毒却仍给出与投毒一致答案的概率;以及 Leakage Rate,即在明确指示忽略检索文档的情况下,投毒上下文仍影响答案的概率。在 200 个 SciFact 问题上,我们比较了 DeepSeek-V4-Flash 和 Qwen3.6-Plus 的禁用推理与启用推理配置。对于 DeepSeek-V4-Flash,推理使 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140,尽管攻击成功率从 0.233 升至 0.298,投毒检测率从 0.965 降至 0.665。Qwen3.6-Plus 表现出相同的定性模式。这些结果表明,投毒检测与下游影响刻画了投毒行为的不同方面。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2608.17153 [cs.CL] |
| (或 arXiv:2608.17153v5 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.17153 由 DataCite 颁发 arXiv DOI |
提交历史
来自:Mehrdad Ghassabi [查看邮箱]
[v1]
2026年8月17日星期一 21:37:20 UTC(26 KB)
[v2]
2026年9月16日星期三 22:08:55 UTC(26 KB)
[v3]
2026年9月19日星期六 16:12:50 UTC(26 KB)
[v4]
2026年9月30日星期三 23:12:12 UTC(29 KB)
[v5]
2026年11月17日星期二 15:58:49 UTC(29 KB)
来源:arXiv cs.CL · arxiv.org