arXiv cs.CL· Francisco Valentini, Edgar Altszyler, Martin Fajcik·· 11 小时前AI 评分38
神经检索器是否偏好某些文档？研究发现学习到的相关性先验
Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors
AI 导读
监督式神经检索器会隐式学到与查询无关的文档级相关性先验，该先验可泛化到未见文档且在不同模型间保持一致。低先验文档即使真正相关也更难被检索到，这一“可发现性差距”在监督式稠密检索器中明显，在 BM25 中较弱且不稳定。基于 LLM 的解释显示，被判定相关的文档多为主流话题的全面自包含摘要，而小众、碎片化或高度技术性内容常未被标注，检索器会将这种偏好内化。
正文 · AI 翻译
摘要：神经检索器通过标注的查询-文档对进行训练，以估计查询与文档的相关性。然而，标注协议可能并不纯粹反映相关性：它们只选择一部分文档进行标注，而这种选择可能偏向某些文档类型。我们研究有监督的双编码器检索器是否隐式地学习了文档级相关性先验：一种作为在标注数据上训练副产物而编码在其表示空间中的、与查询无关的信号。我们通过在冻结的文档嵌入上训练简单分类器来估计这一先验，并在多个 IR 基准上评估三种最先进的检索器。我们发现，有监督神经检索器编码的相关性先验能够泛化到未见文档，且在不同模型间保持一致。这些先验与一种可发现性差距相关：先验较低的文档系统性地更难被检索到，即使它们确实相关。这一效应出现在有监督稠密检索器中，但在 BM25 中较弱且不一致，并且在受控的匹配文档比较下依然存在。利用基于 LLM 的解释，我们发现被判定为相关的文档往往是主流主题的全面、自包含的摘要，而小众、碎片化或高度技术性的内容则常常未被判定。检索器似乎内化了这种偏差，将具有这些受青睐特征的文档排在缺乏这些特征的文档之前，而与其实际相关性无关。我们的发现揭示了有监督检索的一个结构性局限：在标注数据上训练的模型不仅学习相关性，还学习了其训练数据中隐含的文档偏好。
| 评论： | EMNLP 2026（Findings）的相机就绪版 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.02814 [cs.IR] |
| （或本版本使用 arXiv:2606.02814v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2606.02814 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.18653/2026.findings-emnlp.2442
链接到相关资源的 DOI |
提交历史
来自：Francisco Valentini [查看电子邮件]
[v1]
2026年6月1日星期一 19:31:28 UTC（6,325 KB）
[v2]
2026年11月2日星期一 18:46:04 UTC（6,336 KB）
来源：arXiv cs.CL · arxiv.org