arXiv cs.AI· Qi Liu, Fengming Liang, Yiqun Chen, Erhan Zhang, Jiaxin Mao·· 10 天前AI 评分24
RELER：在嵌入空间中用强化学习实现检索
Learning to Retrieve via Reinforcement Learning in Embedding Space
AI 导读
研究者提出 RELER（REinforcement LEarning for Retrieval），一个让现有嵌入模型直接在嵌入空间中学习检索并对齐任务奖励的强化学习框架。
正文 · AI 翻译
摘要：稠密检索模型通常使用对比目标进行训练，这些目标能学习到有效的表示，但并未直接优化检索指标或下游任务性能。为解决这一问题，我们提出了 RELER（REinforcement LEarning for Retrieval，面向检索的强化学习），这是一个强化学习框架，使现有嵌入模型能够直接在嵌入空间中学习检索，并与任务特定的奖励对齐。我们训练 RELER 时，从以归一化编码器输出为中心的 von Mises-Fisher（vMF）分布中采样单位长度的查询和文档嵌入动作，将由此产生的检索或下游结果作为奖励进行评分，并使用带有留一法基线（RLOO）的 REINFORCE 更新编码器。由于在高维嵌入空间中的探索容易受到采样噪声的影响，我们进一步提出了条件均值投影（CMP），它将每个采样的嵌入投影到由其编码器输出及其所比较的候选嵌入所张成的低维子空间上，从而在保持策略梯度期望的同时降低其噪声。我们在 BRIGHT 上评估了 RELER，该基准包含推理密集型查询，对现有嵌入模型仍具挑战性。在对 BGE-M3 和 Qwen3-Embedding 主干进行后训练时，RELER 在平均 nDCG@10 上始终优于 InfoNCE 和 LambdaLoss。我们进一步通过检索增强生成（RAG）评估下游效用，其中我们仅调整查询编码器，同时保持文档索引和生成器固定。在七个 QA 数据集上，联合优化检索和答案奖励提升了 RAG 中的平均检索性能和答案质量。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.07731 [cs.IR] |
| （或 arXiv:2610.07731v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07731 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fengming Liang [查看电子邮件]
[v1]
2026年10月6日星期二 04:29:29 UTC（202 KB）
来源：arXiv cs.AI · arxiv.org