arXiv cs.AI· Sejoon Oh, Fernando Amat Gil, Evan Smothers, Dan Iter, Mark Thornburg, Dawit Mureja Argaw, Sourabh Medapati, Thea Wang, Ria Verma, Qiuling Xu, Harshit Syal, Ehsan Gholami, Moumita Bhattacharya, Ashish Rastogi·· 3 天前AI 评分24
个性化 LLM 推荐中的 Semantic ID：自回归 Beam Search 与多 Token 预测对比
Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction
AI 导读
一项工业级对比研究显示，在基于 Semantic ID 的 LLM 推荐中，单头自回归 Beam Search 在排序与内容 QA 等多数产品关键指标上持续优于多 Token 预测（MTP），在 Qwen3-8B 规模下训练成本约低 2.6 倍，MTP 仅在原始推理吞吐上占优。
正文 · AI 翻译
作者：Sejoon Oh、Fernando Amat Gil、Evan Smothers、Dan Iter、Mark Thornburg、Dawit Mureja Argaw、Sourabh Medapati、Thea Wang、Ria Verma、Qiuling Xu、Harshit Syal、Ehsan Gholami、Moumita Bhattacharya、Ashish Rastogi
摘要：大规模个性化正从嵌入表检索转向基于 LLM 的推荐器，后者生成待推荐条目的语义 ID（SID），其中每个 SID 是一段由离散分层内容代码组成的短序列。随后，一个经过指令微调的模型即可统一检索、内容理解与语言，并仅凭内容使用 SID 推荐全新标题；那么，模型应如何生成 SID？传统上，模型依赖单一语言建模头以自回归方式生成 token，通常使用约束束搜索。相比之下，一批新兴工作探索多 token 预测（MTP），其中专用头并行预测所有 token，大幅降低与束搜索相关的解码延迟。我们报告了这两种生成范式的工业级、同等条件对比：单头自回归解码 vs. MTP。我们引入一种新的辅助排序损失，定义在联合 SID 分数之上，以训练 MTP 目标。我们在一个多任务 LLM 内，从质量和训练/推理成本两方面评估 SID 训练目标，该 LLM 在大型流媒体内容目录上联合执行个性化检索、内容问答（QA）和指令遵循。我们的实验表明，单头束搜索在大多数产品关键指标上持续优于 MTP：排序和内容 QA，并且在 Qwen3-8B 规模上训练成本约低 2.6 倍；MTP 仅在原始推理吞吐量上胜出。围绕这一发现，我们详述了一套高效的训练与推理栈，并报告了相较于此前配备辅助排序头的非 SID 基线的端到端收益：条目冷启动排序 +77%、内容 QA 准确率 +22%、训练速度提升 2.8 倍，语言指标回退可追溯至 SID 词表扩展。我们通过强化学习后训练来解决语言回退问题。
| 评论： | 被 NeurIPS 2026 PALM Workshop 接收 |
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.15864 [cs.IR] |
| （或 arXiv:2610.15864v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15864 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sejoon Oh [查看邮箱]
[v1]
2026年10月11日星期日 19:33:28 UTC（539 KB）
来源：arXiv cs.AI · arxiv.org