跳到正文
arXiv cs.AI· Yuheng Chen, Fan Zhang, Yixuan Xu, Chao Yang, Yang Xiang, Can Yang·· 23 小时前AI 评分31

生成式推荐中 RL 后训练的隐藏代价:排序更强,召回更差

Better Rankers, Worse Retrievers: The Hidden Cost of RL Post-Training in Generative Recommendation

AI 导读

研究发现,生成式推荐模型经 RL 后训练后,在小 K 的 hit@K 上更准,但在全部五个数据集上候选列表的召回(K 达数百)反而下降,即“排序更强、召回更差”。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式推荐器使用语言模型解码用户下一个物品的语义 ID,在监督微调(SFT)之后用强化学习(RL)对其进行后训练已成为标准做法。相关收益大多报告在前十个结果上,但在实际部署中,这类模型会向下游排序器或奖励模型提供数百个候选。我们表明,RL 后训练存在一项隐藏成本:它提升了列表顶部的准确率(小 K 的 hit@K),但在我们研究的所有五个数据集上,降低了候选列表的召回率(K 为数百时的 hit@K)。模型变成了更好的排序器,却成了更差的检索器。受控实验将这一损失追溯到 RL 对其采样的候选(即 rollout)所赋予的负优势。根本原因在于每个用户只记录了一个下一个物品,因此 RL 将其他所有候选都视为错误。然而这些候选是模型最可能的备选项,且往往是具有相似历史的其他用户的下一个物品。惩罚它们恰恰压低了相似用户接下来所选的物品,这些物品便从这些用户的候选列表中消失。这一诊断直接指向一种补救方法:rollout 外锚定,即增加一个额外的损失项,以保留 SFT 模型对 rollout 之外物品的排序。它在所有五个数据集上既保持了顶部的收益,又将召回率恢复到 SFT 水平,并且在其他 RL 配置下同样有效。据我们所知,这是对该召回损失的首项系统性研究:我们测量了它,确定了其成因,并表明一旦成因已知,一个简单的补救方法就足够了。
主题: 信息检索(cs.IR);人工智能(cs.AI)
引用为: arXiv:2611.22838 [cs.IR]
  (或 arXiv:2611.22838v1 [cs.IR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22838

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yuheng Chen [查看邮箱]
[v1] 2026年11月17日星期二 14:19:22 UTC(1,194 KB)

来源:arXiv cs.AI · arxiv.org