arXiv cs.CL· Pasha Abrishamchian, Eugene Yang, Andrew Yates, Nazli Goharian, Ophir Frieder·· 12 小时前AI 评分32
CoverageBench-Negate：面向否定感知检索的覆盖度基准
Coverage Under Contradiction: A Benchmark for Negation-Aware Retrieval
AI 导读
研究者构建了 CoverageBench-Negate，一个在 CoverageBench 基础上加入受控矛盾信息的覆盖度评测基准，覆盖六个数据集、约 63,000 对原始与编辑证据。基线实验中 BM25 区分原始与编辑近孪生证据的能力明显优于稠密检索器（Qwen3 和 Jina），后者接近随机水平。基准已随构建材料在 Hugging Face Datasets 发布。
正文 · AI 翻译
摘要：覆盖度评估基准衡量检索到的证据是否覆盖了满足信息需求所需的不同信息片段。现有基准大多考虑的是预训练检索组件可能已经知道的事实性主张，因此无法确定当语料库证据与这些先验知识相矛盾时，检索器是否仍能找到语料库证据。我们研究当检索器的参数化知识与语料库中的信息不一致时，检索器会如何表现。为此，我们开发了一套流程，用受控的矛盾信息来增强基于 nugget 的覆盖度基准。对于每个 nugget，我们创建一个否定对应项，并编辑其支持文档以支持该否定，同时保留上下文。将该流程应用于 CoverageBench（一个衡量信息覆盖度的基准），我们创建了 CoverageBench-Negate，涵盖六个数据集和约 63,000 个原始-编辑证据对（每个 nugget-文档链接一个）。我们为每一对附加了丰富的构建元数据，并额外提供了对所有对的族外 LLM 判断以及对样本的人工审核。在基线实验中，BM25 在区分原始证据与编辑后的近孪生证据方面显著优于稠密检索器（Qwen3 和 Jina），后者表现接近随机。我们在 Hugging Face Datasets 上发布了该基准（nuggets、documents、pairs）以及构建材料，包括用于创建它的提示词。
| Comments: | 5 页，1 张图。已被 CIKM 2026 接收 |
| Subjects: | 信息检索（cs.IR）；计算与语言（cs.CL） |
| ACM classes: | H.3.3 |
| Cite as: | arXiv:2610.37162 [cs.IR] |
| （或本版本使用 arXiv:2610.37162v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2610.37162 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Pasha Abrishamchian [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 12:54:48 UTC（600 KB）
来源：arXiv cs.CL · arxiv.org