arXiv cs.AI· Yuxi Huang, Silin Zhou, Chenhao Wang, Zihan Li, Gangming Guo, Pei Ke, Shen Gao, Shuo Shang·· 13 小时前AI 评分22
REGER：用语义 ID 建模物品间关系做生成式推荐
REGER: Modeling inter-item Relations with Semantic IDs for Generative Recommendation
AI 导读
REGER 是一个将物品间关系显式融入语义预训练、历史编码与 SID 生成的统一生成式推荐框架，通过生成语义邻居的 SID 让模型继承物品语义相似性。它结合全局注意力与对齐 SID 边界的局部注意力捕捉历史上下文和相邻物品的有向转移，并证明协同偏好分布可在 SID 前缀树上精确分解，进而蒸馏判别式教师模型在各前缀上的完整条件分布。真实数据集实验显示其持续优于现有 GR 基线。
正文 · AI 翻译
摘要：个性化推荐依赖于从在线内容和用户交互中学习物品间的语义关系与协同关系。生成式推荐（GR）通过自回归生成物品的离散语义 ID（SID），提供了一种有前景的范式。然而，随机初始化的 SID 词元嵌入和从头训练的 GR 模型并不能直接继承物品固有的语义关系，而物品间的协同关系主要通过词元级注意力和下一词元监督以隐式方式学习。为解决这一局限，我们提出 REGER，一个将物品间关系显式融入语义预训练、历史编码和 SID 生成的统一框架。我们通过生成式语义检索对 GR 模型进行预训练，使其通过学习生成语义邻居的 SID 来继承物品间的语义相似性。我们将全局注意力与对齐 SID 边界的局部注意力相结合，以捕捉历史上下文和相邻物品之间的有向转移。我们进一步提出了一个在 SID 前缀树上进行层次化偏好分解的理论框架，证明了协同偏好分布的精确分解，以及物品级 KL 散度到前缀条件 KL 散度的加权分解。基于这一分析，我们沿目标 SID 路径，在真实前缀处蒸馏判别式教师模型对所有合法下一词元的完整条件分布，并将该目标与交叉熵联合优化。在真实世界数据集上的大量实验表明，该方法相较现有 GR 基线取得了一致提升，并验证了所提出的偏好蒸馏的有效性。
| 评论： | 13 页，6 幅图 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37584 [cs.IR] |
| （或 arXiv:2610.37584v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37584 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuxi Huang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 17:25:12 UTC（2,436 KB）
来源：arXiv cs.AI · arxiv.org