arXiv cs.AI· Haotian Chen, Qingqing Long, Meng Xiao, Xiao Luo, Wei Ju, Chengrui Wang, Yuanchun Zhou, Xuezhi Wang, Hengshu Zhu·· 3 天前AI 评分22
SciRerankBench：面向科学检索增强生成的 reranker 基准测试
SciRerankBench: Benchmarking Rerankers Towards Scientific Retrieval-Augmented Generation with LLMs
AI 导读
SciRerankBench 是首个专门评估 RAG-LLMs 系统中 reranker 的基准，覆盖五个科学学科。
正文 · AI 翻译
摘要：科学文献问答是迈向新科学发现的关键一步。近来，\textit{两阶段}检索增强生成大语言模型（RAG-LLMs）在该领域取得了令人瞩目的进展。这种两阶段框架，尤其是第二阶段（重排序器），在科学领域尤为重要，因为术语上的细微差异可能对最终面向事实或知识密集型的答案产生极大的负面影响。尽管取得了这些显著进展，这些工作的潜力和局限性仍未得到充分探索。在本工作中，我们提出了一个面向科学重排序的 RAG 基准（SciRerankBench），用于评估 RAG-LLMs 系统中的重排序器，涵盖五个科学学科。为了严格评估重排序器在噪声鲁棒性、相关性消歧和事实一致性方面的表现，我们构建了三类问题-上下文-答案（Q-C-A）对，即噪声上下文（NC）、语义相似但逻辑无关上下文（SSLI）和反事实上下文（CC）。通过对 13 个广泛使用的重排序器在五个大语言模型系列上进行系统评估，我们提供了关于它们相对优势和局限性的详细见解。据我们所知，SciRerankBench 是首个专门为评估 RAG-LLMs 中的重排序器而开发的基准，为其未来发展提供了有价值的观察和指导。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.08742 [cs.CL] |
| （或 arXiv:2508.08742v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.08742 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haotian Chen [查看邮箱]
[v1]
2025年8月12日星期二 08:36:23 UTC（766 KB）
[v2]
2025年9月24日星期三 07:37:00 UTC（766 KB）
[v3]
2026年10月12日星期一 06:38:20 UTC（19,308 KB）
来源：arXiv cs.AI · arxiv.org