arXiv cs.CL· Yanran Wu, Dian Yu, Chongyang Bai, Jieyi Zhang, Rui Liu, Tianyi Chen, Shike Mei, Hang Cui, Frank Shyu, Sandeep Pandey, Luke Simon, Chunwei Liu, Xi Liu·· 14 小时前AI 评分34
DecisionRank：用在线策略蒸馏训练决策模型重排器
DecisionRank: On-Policy Distillation for Decision-Model Rerankers
AI 导读
DecisionRank 通过 item-space 在线策略蒸馏（OPD）将生成式 LLM 的排序知识迁移到决策模型：把学生模型输出的文档分数排序成列表，交由生成式教师模型提供条件反馈直接监督这些分数。
正文 · AI 翻译
作者：Yanran Wu、Dian Yu、Chongyang Bai、Jieyi Zhang、Rui Liu、Tianyi Chen、Shike Mei、Hang Cui、Frank Shyu、Sandeep Pandey、Luke Simon、Chunwei Liu、Xi Liu
摘要：决策模型通过直接预测选择或分数来面向结构化任务，从而避免自回归解码延迟。然而，将生成式 LLM 的排序知识迁移到决策模型仍然具有挑战性：教师模型通过文档 ID 序列的排序列表来表达偏好，而学生模型则利用首个 token 位置的分数来确定排序。为弥合这一差距，我们提出了 DecisionRank，一种通过物品空间在线策略蒸馏（OPD）训练的决策模型。物品空间 OPD 通过将学生模型的文档分数排序为有序序列来构建其 rollout。生成式教师模型以得到的排序列表为输入，并提供条件反馈以直接监督这些分数。结合离线排序监督，DecisionRank 在 TREC DL、BEIR 和 BRIGHT 等通用及推理密集型检索基准上均取得了最先进的性能。在四个基准上，物品空间 OPD 始终优于其他训练目标。即使在 1.7B 参数下，DecisionRank 在 TREC DL19--23 上也超越了其 27B 的生成式教师模型。在 8B 规模下，它优于其生成式 listwise 对应模型，同时在 TREC DL 上运行速度快 $24.5\times$，在 BRIGHT 上快 $16.7\times$。
| 评论： | 25 页，8 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42128 [cs.CL] |
| （或 arXiv:2610.42128v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanran Wu [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 17:56:58 UTC（686 KB）
来源：arXiv cs.CL · arxiv.org