arXiv cs.CL· Aaditya Chauhan, Arun Agarwal·· 12 小时前AI 评分31
混合检索的“融合税”：诊断分析混合检索何时反而有害
The Fusion Tax: A Diagnostic Analysis of When Hybrid Retrieval Hurts
AI 导读
研究提出“融合税”概念，量化混合检索在单个查询上的损失：即使最佳方法 dense-weighted score interpolation，在 13-48% 的查询上把相关文档排到两个组件中较好者之下，在 8-21% 的查询上不如可部署的纯稠密检索器。该损失主要是排序效应，在仅一个检索器覆盖的查询上最易出现，并跨编码器规模与 SPLADE 替代持续存在；RRF 在稠密检索明显更强时税负更高。
正文 · AI 翻译
摘要：混合检索将稀疏词法检索器与稠密神经检索器相融合，在 2026 年 9 月调研的软件文档中被广泛推荐，通常采用倒数排名融合（RRF），依据是聚合增益。我们以“不融合”作为一等的可能结果，在混合检索实际部署的场景中，考察融合在单个查询上的代价：标准 Anserini BM25、五个稠密编码器（参数量 22M–596M、跨越三代模型）、一种学习型稀疏（SPLADE）替代方案，以及一个交叉编码器第二阶段，在七个 BEIR 数据集和三种融合函数上进行。即使是最好的方法——稠密加权分数插值——在 13–48% 的查询上把相关文档排在其两个组件中较好者的下方，在 8–21% 的查询上排在可部署的纯稠密检索器下方（在留一语料库验证下选定的权重下为 14–48% 和 11–25%），而在使用主编码器时，它在每个语料库的聚合指标上都优于纯稠密检索；在七个语料库中的六个上，在损失厌恶的风险敏感评估下，这一劣势是显著的。我们将这一损失称为融合税。它主要是一种排序效应，在聚合层面保持召回率；它最可能出现在只有一个检索器覆盖的查询上，并且在编码器阶梯和 SPLADE 替换下持续存在。在稠密检索器明显更强的地方，RRF 承担更高的税，只有在两个组件均衡时才优于纯稠密检索。融合失败在一个语料库内弱可预测，但跨语料库迁移不可靠，因为预测它的特征会随稀疏-稠密平衡而改变符号。交叉编码器仅在自身可靠的地方收回部分税。我们将这些发现提炼为指引，将融合决策与目标语料库测得的稀疏-稠密平衡挂钩。
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| ACM 分类： | H.3.3 |
| 引用为： | arXiv:2610.30612 [cs.IR] |
| （或本版本的 arXiv:2610.30612v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2610.30612 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | IEEE Access, vol. 14, pp. 159620-159637, 2026 |
| 相关 DOI： | https://doi.org/10.1109/ACCESS.2026.3743502
链接到相关资源的 DOI |
提交历史
来自：Aaditya Chauhan [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 02:24:08 UTC（308 KB）
来源：arXiv cs.CL · arxiv.org