arXiv cs.CL· Atharva Thakur, Abulhair Saparov, Bruno Ribeiro·· 11 小时前AI 评分31
DeclineCraft：联合衡量检索与参数知识的 RAG 弃答基准
DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
AI 导读
研究者提出 DeclineCraft，一个以 Minecraft 在语料截止后新增功能为不可答问题的动态弃答基准，并审计模型的参数知识暴露情况。在 27 个 LLM 上测试发现，单次检索在 40 种配置中的 38 种显著提升正确弃答率（CAR），而迭代 RAG 在 30 种配置中显著降低 CAR（均值 46.4%），答案准确率仅从 68.5% 变为 69.3%。
正文 · AI 翻译
摘要：可靠的检索增强生成（RAG）需要识别出检索到的文档和参数化知识均无法支持回答的情况。我们提出 DeclineCraft，一个动态弃答基准，其不可回答问题针对语料截止日期之后 Minecraft 新增的功能，并审计可能的参数化暴露。更晚的截止日期可支持对未来模型的评估。在 27 个 LLM 上，我们测量了正确弃答率（CAR；模型在不可回答问题上承认知识不足的频率）、可回答尝试率和回答准确率。我们发现：（1）与无检索相比，单次检索在 40 种配置（模型和思考设置）中的 38 种显著提高了 CAR。（2）迭代 RAG 中模型自我评估其上下文并可请求最多两轮额外检索，与单次 RAG 相比，在 40 种配置中的 30 种显著降低了 CAR（平均 46.4%），而回答准确率变化很小（68.5% 至 69.3%）。在混合（稠密与稀疏）检索中加入查询重写和重排序，使所有 12 个受测模型的 CAR 均降低。（3）更大的模型回答更准确（与总参数的 Spearman $\rho = +0.60$），但模型规模和发布日期均与 CAR 无显著关联。（4）在无检索的情况下，对相同权重启用思考会使 13 个模型中的 8 个 CAR 显著降低（平均降低 14 个百分点），且回答从承认不确定性转向否认前提。
| 评论： | 38 页，28 张图，12 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.28340 [cs.CL] |
| （或 arXiv:2610.28340v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28340 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Atharva Thakur [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 15:07:19 UTC（709 KB）
来源：arXiv cs.CL · arxiv.org