arXiv cs.CL· Chahana Dahal, Zuobin Xiong·· 10 小时前AI 评分38
研究指出 ASR 指标掩盖 RAG 防御盲区：被阻止不等于被保护
Prevented is Not Protected: What Attack Success Rate Hides about RAG
AI 导读
一项研究提出 Aligned RAG Evaluation 匹配查询协议，联合考察有无防御下的干净与投毒响应，以区分“被阻止的失败”与“被引入的失败”。在 HotpotQA 和 Natural Questions 上的实验显示，现有防御虽能阻止部分攻击，却会引入意外的目标正向回答，且评估标准会改变防御排名。研究认为仅靠攻击成功率（ASR）评估 RAG 投毒防御存在关键盲区。
正文 · AI 翻译
摘要：检索增强生成（RAG）易受知识投毒攻击，即攻击者操纵检索到的证据以影响模型输出。现有防御主要使用攻击成功率（ASR）进行评估，这掩盖了防御引发的失败以及表面攻击被阻止背后的机制。为解决这一问题，本文引入\textbf{对齐式 RAG 评估}，一种匹配查询协议，在有防御和无防御的情况下联合考察干净响应与投毒响应。通过结合匹配条件分析、LLM 评判认可和检索依赖性控制，该框架区分了被阻止的失败与引入的失败、目标提及与 LLM 认可、单段落影响与证据构成。在 HotpotQA 和 Natural Questions 上的实验表明，现有防御虽然能阻止部分攻击，但可能引入意外的目标阳性答案，而评估标准也可能改变防御排名。我们的发现揭示了基于 ASR 的评估中的关键盲点，并推动对 RAG 投毒防御进行更全面的评估。代码和评估工件可在此 https URL获取。
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.40742 [cs.CR] |
| （或本版本的 arXiv:2610.40742v1 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2610.40742 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Chahana Dahal [查看邮箱]
[v1]
2026年10月29日 星期四 15:21:32 UTC（396 KB）
来源：arXiv cs.CL · arxiv.org