arXiv cs.CL· Rajeel Ahmad Ansari, Tautik Agrahari·· 11 小时前AI 评分34
不确定性何时能衡量 RAG 幻觉风险？研究揭示检索覆盖度的条件性作用
When Does Uncertainty Measure RAG Hallucination Risk?
AI 导读
研究在 HotpotQA 和 SQuAD 上测试四个指令微调模型发现，不确定性仅在检索证据能约束答案时才能衡量 RAG 幻觉风险。按词数分箱匹配忠实与幻觉答案后，仅靠长度的分类器接近随机水平，而困惑度在针对性无支撑编辑上达到 0.81–0.91 AUROC。
正文 · AI 翻译
摘要：不确定性可以衡量检索增强生成（RAG）中的幻觉风险，但前提是检索到的证据对答案构成约束。当证据存在时，缺乏支持的事实性主张出现的可能性会降低；当检索覆盖不足时，模型可以依据内部知识作答，并给缺乏支持的主张赋予高概率。我们在 HotpotQA 和 SQuAD 上对四个指令微调模型进行了测试。在按词数分箱匹配忠实答案与幻觉答案后，仅基于长度的分类器接近随机水平，而困惑度在针对性的无支持编辑上达到 0.81--0.91 AUROC。改变检索深度揭示了该分数含义变化的原因：仅使用排名最高的段落时检测能力可能减弱，而在加入第二个段落后又会恢复。将不确定性与语义漂移分数结合可改善校准，且相关测量在 RAGTruth QA 上仍高于随机水平。结果支持一种条件性观点，即不确定性可作为 RAG 幻觉风险的有用度量。
| 评论： | 6 页。已被 ICNLSP 2026 接收为口头报告 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22615 [cs.CL] |
| （或 arXiv:2610.22615v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22615 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Proceedings of the 9th International Conference on Natural Language and Speech Processing (ICNLSP-2026), pp. 53-58, 2026 |
提交历史
来自：Rajeel Ahmad Ansari [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 20:17:26 UTC（51 KB）
来源：arXiv cs.CL · arxiv.org