arXiv cs.AI· Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Yuxuan Li, Yikun Jiang, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Min-hsuan Tsai, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi·· 2 天前AI 评分50
TokenMinds：用预训练用户 Token 与嵌入实现大规模推荐系统的用户理解
TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems
AI 导读
TokenMinds 是面向工业推荐系统的生成式用户建模系统，将 PLUM 框架从基于 SID 的物料检索扩展到用户序列建模，采用改编自预训练 LLM 的编码器-解码器双输出设计：编码器输出稠密用户嵌入，解码器生成基于 SID 的离散用户 token 表示多面向未来兴趣。
正文 · AI 翻译
作者：Qingyun Liu、Bo Yan、Yang Liu、Yuji Roh、Ekansh Sharma、Likang Yin、Emma Olowo、Yuxuan Li、Yikun Jiang、Diego Uribe、Saksham Aggarwal、Siqi Wu、Yuan Hao、Vikas Kedigehalli、Min-hsuan Tsai、Lukasz Heldt、Lichan Hong、Li Wei、Xinyang Yi
摘要：工业推荐系统中的用户建模通常产生稠密嵌入，这类嵌入受限于固定维度的向量，存在表征上的局限。作为离散用户表征的一种新兴替代方案，LLM 生成的自然语言用户画像往往捕捉的是语言语义，而非用户行为中的序列模式。与此同时，语义 ID（SID）在物品表征方面十分有效，但现有的离散用户表征在很大程度上仍局限于对已池化的用户向量进行量化、对历史观看记录进行聚类，或仅为了候选召回而预测粗粒度的主题簇。我们提出 TokenMinds，这是一个工业系统，将 PLUM 框架从基于 SID 的物品召回扩展到生成式序列用户建模。TokenMinds 基于由预训练 LLM 改造而来的编码器-解码器架构，引入了双输出设计：编码器输出一个稠密用户嵌入，捕捉用户的整体状态；解码器则生成基于 SID 的离散用户 token，表征多方面的未来兴趣。这些 token 以物品语义为基础，保留了单一池化向量会平均掉的各类不同兴趣。此外，长视频与短视频共享同一套 SID 词表，将跨场景行为统一到单一模型中，使上游训练与服务的计算量分别减少 50% 和 31%。进一步地，借助从预训练 LLM 继承的文本词表，TokenMinds 将文本搜索查询直接与观看历史交错输入，以捕捉用户的显式意图。我们通过离线评估以及在 YouTube 主要排序场景上进行的线上 A/B 实验验证了 TokenMinds，该系统以异步方式服务数十亿用户：基于 SID 的用户 token 本身即有效，与稠密嵌入结合使用时能带来增量收益，二者结合后的表现优于生产环境中上一代非 LLM 用户模型。
| 学科： | 信息检索（cs.IR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.25147 [cs.IR] |
| （或本版本使用 arXiv:2606.25147v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2606.25147 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qingyun Liu [查看邮箱]
[v1]
2026年6月23日 星期二 20:20:37 UTC（1,384 KB）
[v2]
2026年10月26日 星期一 22:51:11 UTC（1,130 KB）
来源：arXiv cs.AI · arxiv.org