arXiv cs.AI· Dongyue Li, Zebang Cheng, Zhongyi Deng, Hongboxu, Yi Bin, Fei Ma·· 13 小时前AI 评分24
RPSD：用最优传输实现检索特权在线自蒸馏的序列推荐方法
RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport
AI 导读
研究者提出 RPSD（Retrieval-Privileged on-policy Self-Distillation），通过在线自蒸馏将序列级奖励重塑为 token 级信用，并用时间感知最优传输（OT）从相似用户的行为轨迹中提取跨用户特权证据，解决信用盲优化与协同盲监督两大问题。该工作称首次将在线自蒸馏引入序列推荐，并在多个真实数据集上取得 SOTA 表现。
正文 · AI 翻译
摘要：序列推荐根据历史行为预测用户的下一次交互。近期基于 LLM 的方法将这一任务重构为生成式推荐，并越来越多地采用 GRPO 等强化学习进行后训练。然而，这些方法存在两个局限：一是信用盲优化，即序列级奖励被所有生成的 token 共享；二是协同盲监督，即每个训练信号仅来自单个用户，忽略了相似用户之间共享的行为模式。为解决这两个问题，我们提出检索特权在线自蒸馏（RPSD）。针对信用盲优化，我们引入在线自蒸馏（OPSD），其中拥有特权知识的教师模型重新评估学生的在线响应，学生与教师之间的 token 级置信度差异将共享的序列级优势重塑为 token 特定的信用。然而，原始 OPSD 中的特权知识仍来自单个用户，协同盲监督问题仍未解决。因此，我们将教师模型建立在来自相似用户的协同行为证据之上。具体而言，我们使用时间感知最优传输（OT），通过联合考虑物品相似性和时间结构来比较用户间的交互轨迹，并进一步应用多样性感知选择，保留互补轨迹作为特权证据。这样，在线自蒸馏提供细粒度的 token 级信用，而 OT 以结构化的跨用户证据丰富教师模型。据我们所知，这是首个将在线自蒸馏引入序列推荐、并使用跨用户行为作为其特权信号的工作。在多个真实世界数据集上的大量实验表明，RPSD 达到了最先进的性能。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.37281 [cs.AI] |
| （或 arXiv:2610.37281v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.37281 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dongyue Li [查看邮箱]
[v1]
2026年10月27日星期二 14:08:38 UTC（2,271 KB）
来源：arXiv cs.AI · arxiv.org