arXiv cs.CL· Qiyong Zhong, Jiajie Su, Ming Yang, Li Zhang·· 13 小时前AI 评分22
JevRec:面向 LLM 生成式推荐的语言编码与类 Jev 决策建模
JevRec: Linguistic Encoding with Jev-like Decision Modeling for LLM-based Generative Recommendation
AI 导读
JevRec 提出用可变长度词编码物品的生成式推荐方法,为高频物品生成更短 SID、为长尾物品保留更丰富描述,并用独立长度预测头与内容生成头共享交互历史表示。在三个公开数据集上,JevRec 在所有评测推荐指标上均优于对比基线,训练与推理时间低于 TIGER,并降低了长度与内容预测间的梯度冲突。
正文 · AI 翻译
摘要:生成式推荐(GR)将物品表示为语义标识符(SID),并根据交互历史自回归地生成下一个物品的 SID。然而,大多数方法为所有物品分配相同的 SID 长度,尽管交互频率高度不均。这种统一设计使热门物品反复承担细粒度编码的开销,而缩短编码以降低该开销又会压缩长尾物品的语义表示。受自然语言中高频表达采用紧凑形式的启发,我们提出 JevRec,将物品编码为变长词,并从交互上下文生成下一个物品。语言式编码从共享码本中保留依赖频率的语义前缀,从而为热门物品生成更短的 SID,为长尾物品提供更丰富的描述。然而,预测序列级长度与生成词元级内容提出了不同的优化要求,在共享输出头下可能相互冲突。因此,我们类似 Jev 的决策建模组件使用专用头预测长度分布,并通过单独的头在给定长度条件下生成内容,同时共享交互历史表示。在三个公开数据集上的实验表明,JevRec 在所评估的推荐指标上优于所有对比基线。进一步分析显示,其训练和推理时间低于 TIGER,且长度预测与内容预测之间的梯度冲突有所减少。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.36937 [cs.CL] |
| (或 arXiv:2610.36937v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.36937 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Young Zhong [查看电子邮件]
[v1]
2026年10月27日星期二 09:59:44 UTC(2,376 KB)
来源:arXiv cs.CL · arxiv.org