arXiv cs.AI· Shunyuan Zhou, Hao Chen, Tianyu Wang, Goose Lin, Zaiyuan Wang, Haiying Zhao·· 9 天前AI 评分28
RAG-Stress：探测检索增强生成中证据依赖的极限
RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation
AI 导读
研究者提出 RAG-Stress 诊断协议，通过固定问题与参考答案、编辑单条断言以支持指定错误答案，交叉两种来源优先级策略与答案在证据文本中的三种位置，测量模型的误导率（MR）。
正文 · AI 翻译
摘要：检索到的证据并不能保证事实正确性：误导性证据可能诱导模型替换其先前给出的正确答案。标准准确率指标将答案替换与既有错误混在一起，从而掩盖了这种行为。我们提出 RAG-Stress，一种受控诊断协议，用于考察检索增强生成中证据依赖的极限。该协议固定问题和参考答案，编辑其中一个断言以支持指定的错误答案，并将两种来源优先级策略与答案片段在证据文本中的三种位置进行交叉组合。我们在每个模型未使用检索即正确回答的问题子集上测量误导率（MR），同时在完整评估集上测量干净准确率。我们评估了十五个系统，涵盖 API 模型、开源模型以及使用强化学习训练的搜索智能体，涉及 TriviaQA-RC、HotpotQA 和 SearchQA，并额外进行了英文和中文 MedQA 评估。优先考虑文档的指令始终比允许依赖先验知识的指令产生更高的 MR。在三个问答数据集上，对模型和位置取平均后，差距范围为 10.9 至 13.5 个百分点。在两种策略下，平均 MR 均遵循末尾 $>$ 开头 $>$ 中间的顺序，尽管单个模型并不一致地遵循这一顺序。对 500 个问题和两个检查点进行的单独配对审计支持有害覆盖增加，但未能证实有益纠正相应改善。这些发现将证据依从性与事实可靠性区分开来，并促使我们评估检索到的证据是保留、替换还是纠正模型的答案。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11183 [cs.CL] |
| （或 arXiv:2610.11183v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11183 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hao Chen [查看电子邮件]
[v1]
2026年10月8日星期四 03:40:48 UTC（3,009 KB）
来源：arXiv cs.AI · arxiv.org