arXiv cs.CL· Ruiyi Yan, Zhuoyuan Mao, Yugo Murawaki, Yiwen Guo·· 10 小时前AI 评分26
Re³Rank：用推理条件检索头做列表式重排序
Re$^3$Rank: Listwise Reranking with Reasoning-Conditioned Retrieval Heads
AI 导读
Re³Rank 是一种基于推理条件检索头（RRHeads）的列表式重排序器，先由生成器针对问题和候选写出推理轨迹，再由打分器将轨迹 token 作为注意力查询读取相关性分数。团队提出直通估计器让排序损失穿过离散轨迹回传，使生成器与打分器可联合训练。在 9 个基准上平均，4B 版本比最强基线高 3.11 NDCG@10，0.6B 版本也超过参数量达 32B 的重排序器。
正文 · AI 翻译
摘要：基于注意力的重排序器通过检索头从问题路由到每个候选的注意力质量来为其打分，但问题作为固定查询，在定位相关证据时携带的信息有限。我们提出 Re$^3$Rank，一种基于推理条件检索头（RRHeads）的列表式重排序器。生成器首先针对问题和候选写出推理轨迹，然后评分器将轨迹 token 作为少数选定 RRHeads 的注意力查询，将相关性读取为连续分数。我们提出一种直通估计器，将排序损失通过离散轨迹反向传播，从而使生成器和评分器能够联合训练以进行排序。在 9 个基准上平均而言，Re$^3$Rank 优于 11 个基线重排序器：我们的 4B 变体平均超出最强基线 3.11 个 NDCG@10 点，甚至我们的 0.6B 变体也超过了参数量高达 32B 的重排序器。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02550 [cs.CL] |
| （或 arXiv:2611.02550v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02550 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruiyi Yan [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 05:24:12 UTC（590 KB）
来源：arXiv cs.CL · arxiv.org