arXiv cs.AI· Aarush Sinha, Rahul Seetharaman, Aman Bansal·· 2 天前AI 评分18
什么在追踪难负样本迁移？词汇与语义信号研究
What Tracks Hard-Negative Transfer? A Study of Lexical and Semantic Signals
AI 导读
一项研究比较了词汇非覆盖度、冻结编码器相似度统计、难度代理等信号，在 BM25、稠密、LLM 生成及混合来源的 MS MARCO 训练数据上对稠密检索器迁移的追踪能力。在三个检索器骨干和十一个 BEIR 数据集上，IDF 加权的平均词汇残差性复现了全部六组骨干与设置块的迁移排序，而语义统计量均无法恢复完整排序，与词汇信号结合也未提升排序一致性。
正文 · AI 翻译
摘要：硬负例监督的哪些属性能在训练前追踪稠密检索器的迁移？我们针对 MS MARCO 训练，比较了词汇未覆盖率、冻结编码器相似度统计量、难度代理指标以及这些信号的组合，涵盖 BM25、稠密、LLM 生成和混合来源。评估使用三个检索器骨干和十一个 BEIR 数据集。平均词汇残差率——一种 IDF 加权的查询词元未覆盖率度量——在所有六个骨干与设置块中都复现了总体迁移排序。单个语义统计量无法恢复任何完整排序，将它们与词汇信号结合也不会改善所观察到的秩一致性。在将 BM25、稠密和 LLM 诊断样本的词汇残差率大致匹配后，所测试的语义统计量均无法在三个骨干、三种匹配分辨率和 100 次重复中恢复所观察到的 LLM > Dense > BM25 迁移排序。构建的对照进一步表明，不相关和假阴性形状的段落可以表现出有利的词汇和语义统计量。这些发现识别出该设置中一种简单的词汇关联，同时将来源层面的迁移一致性与单个负例的可靠性区分开来。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.20990 [cs.IR] |
| （或 arXiv:2603.20990v5 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.20990 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Aarush Sinha [查看电子邮件]
[v1]
2026年3月22日周日 00:21:05 UTC（71 KB）
[v2]
2026年6月3日周三 21:47:20 UTC（59 KB）
[v3]
2026年6月5日周五 15:52:58 UTC（60 KB）
[v4]
2026年8月11日周二 12:10:27 UTC（573 KB）
[v5]
2026年10月14日周三 10:06:02 UTC（53 KB）
来源：arXiv cs.AI · arxiv.org