arXiv cs.CL· Ivan Kochergin, Vasily Konovalov·· 10 小时前AI 评分29
检索器越强，标签越失真：不完整相关性标注如何扭曲对话式 RAG 的拒答评估
Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG
AI 导读
研究在 RECOR（RETECO track 2）上复现官方基线后发现，用“无 gold 文档即不可答”的捷径判定拒答会严重失真：检索器越强（nDCG@10 从 .18 到 .59），含答案的无 gold 上下文占比从 28% 升至 72%，该捷径精度从 .68 降至 .10（盲审下 .70 降至 .21）。
正文 · AI 翻译
摘要：MTRAG 和 RETECO 等对话式 RAG 基准对检索与生成进行端到端评估：每个系统基于自身的检索结果作答，因此弃答必须依据每个检索到的上下文是否充分来评分。一种便捷的捷径是从相关性判断中读取充分性，并将不含金标文档的上下文视为不可回答。我们精确复现了官方基线，并在 RECOR（RETECO 赛道 2）上使用四种检索器（nDCG@10 从 .18 到 .59）和三个 Qwen3 阅读器检验了这一捷径。两个开放 LLM 评判器和由四个小型开放模型组成的小组按内容为每个上下文打标签，另一个家族的模型在盲测条件下审核 250 个上下文并进行裁定。检索器越强，仍包含答案的无金标上下文占比越大（28\% 到 72\%），该捷径的精确率越低（.68 到 .10；审核下为 .70 到 .21）。阅读器的结果也一致：Qwen3-4B 正确回答了 62--67\% 的此类假漏判，而判定为不充分的无金标上下文正确率为 23--30\%，无文档时为 1\%。在大多数假漏判中，答案来自为同一问题挖掘的困难负样本、另一轮的黄金答案或黄金页面的相邻块。在判断来自标注者的 MTRAG 上，精确率从 .72 降至 .50。在该捷径下，可回答性 AUROC 最多偏低 .19，而最佳的充分性检测器似乎是一个从不读取文档的检索分数。我们发布了代码、运行结果和标签，并建议依据内容标签而非是否存在金标来对拒答进行评分。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40966 [cs.CL] |
| （或 arXiv:2610.40966v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.40966 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vasily Konovalov [查看邮箱]
[v1]
2026年10月29日 星期四 20:52:24 UTC（126 KB）
来源：arXiv cs.CL · arxiv.org