arXiv cs.CL· Ankit Gupta·· 9 小时前AI 评分40
NONSENSE 探针揭示稠密检索的语义性缺口
NONSENSE: Non-Semantic Strings Expose Semanticity Gaps in Dense Retrieval
AI 导读
NONSENSE 是一种黑盒稀疏编辑探针,在禁止复制查询词的前提下,仅优化查询与字符串的稠密相似度,构造出明显无语义的字符串。在五个 BEIR 风格数据集和三种主流单向量检索器上,这些字符串经常得分超过检索器自身判定最相关的段落,并常在完整语料中排名第一。结果表明,所评估的稠密检索器存在语义性缺口:最近邻地位可以与段落式语义分离。
正文 · AI 翻译
摘要:稠密检索是现代搜索、问答和检索增强生成的核心,其中高相似度常被视为语义相关性的证据。我们考察了这一假设能被推至何种程度。NONSENSE 是一种黑盒稀疏编辑探针,它构造出明显非语义的字符串,同时禁止复制查询词,仅优化查询与该字符串之间的稠密相似度。在五个 BEIR 风格数据集和三种流行的单向量检索器上,这些字符串经常得分高于检索器自身判定为查询相关的最佳段落(QRP),并且常常在整个语料库中排名第一。该结果表明所评估的稠密检索器存在语义性差距:最近邻地位可以与段落式语义相分离。这些发现凸显了评估稠密检索器的重要性,不仅在于其是否检索到相关文档,还在于其相似度分数反映语义证据的可靠程度。
| 评论: | 已被 EACL 2027(主会议)接收。15 页 |
| 主题: | 信息检索(cs.IR);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22353 [cs.IR] |
| (或 arXiv:2611.22353v1 [cs.IR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22353 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ankit Gupta [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 08:04:40 UTC(432 KB)
来源:arXiv cs.CL · arxiv.org