arXiv cs.AI· Tanzeel Abbas, Tehseen Zia, David Windridge·· 1 天前AI 评分34
研究揭示 RAG 引用溯源失真：1.2%-15.7% 可引用论断来自参数记忆而非检索上下文
Cited but Unused: Parametric Provenance in Retrieval-Augmented Generation
AI 导读
研究用反事实值替换法测量 RAG 溯源，发现同一模型家族五个尺寸及另一对比家族中，1.2% 至 15.7% 的可引用论断源自参数记忆而非检索上下文，且该比例随模型规模上升。
正文 · AI 翻译
摘要：检索增强生成系统会为归因性主张附加引用，以标明其来源。这些引用经常错误地标注出处，而标准验证方法无法检测到这一点。我们通过反事实值替换来衡量出处：将检索段落中的某个事实替换为虚假变体，然后重新查询模型。我们发现，在同一个模型家族的五个规模以及第二个对照家族中，1.2% 至 15.7% 的可引用主张源自参数化记忆，而非检索到的上下文。在最保守的替换距离下，我们在两个测试模型上得到的数字分别为 4.6% 和 8.5%，且同一家族内该比率随模型规模增大而上升。我们进一步发现，自然语言推理验证——标准方法——在各模型上的结果与随机猜测无法区分，即使仅限于被引用的段落也是如此。我们确定其原因是结构性的：从记忆作答的模型会选择与其输出相符的引用。在相同主张上比较十种归因方法，模型在有上下文和无上下文时的分布对比最能区分出处。依据该信号采取行动，在这些基础比率下并不能提高出处诚实度。因此，由此得到的检测器仍不够准确，无法据此采取行动：它衡量的是模型知道什么，而不是模型使用了什么，而将二者区分开来仍是未解难题。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.17161 [cs.AI] |
| （或 arXiv:2611.17161v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17161 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tanzeel Abbas Mr [查看电子邮件]
[v1]
2026年11月12日 星期四 17:39:14 UTC（65 KB）
来源：arXiv cs.AI · arxiv.org