arXiv cs.CL· Hongyang Su, Beibei Kong, Lei Cheng, Chengxiang Zhuo, Zang Li·· 11 小时前AI 评分31
LatentRec：用训练时隐式推理替代 LLM 推荐中的 CoT 文本生成
Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation
AI 导读
LatentRec 提出用训练时的逐步头部监督替代推理时的推理产物，让 LLM 推荐无需在每次预测前生成 CoT 文本。
正文 · AI 翻译
摘要：基于 LLM 的推荐系统越来越多地在每次物品预测前生成思维链（CoT）文本，以激活 LLM 的推理能力，这在推理时每次推荐会额外消耗数十到数百个 token。我们探究推理时的推理产物（文本或潜在表示）能否仅通过训练时监督来替代，而不损失准确率。我们提出 LatentRec，一个基于 LLM 的生成式推荐框架，用训练时的逐步头监督替代推理时的推理产物。LatentRec 包含三个组件。一个 2.5M 参数的连续思维模块在训练期间对 LLM 的隐藏状态迭代 K 个潜在推理步骤。软 Token 选择弥合了隐藏状态与输入嵌入之间约 14 倍的范数差距。逐步推理损失（PRL）通过 LLM 的预测头，以目标语义 ID 的首个 token 为监督目标，对每个中间状态进行监督。训练后的 LLM 在推理时无需该模块即可保持该准确率，因此该模块可在部署时丢弃。在三个 Amazon 基准上，LatentRec 相比 CoT 蒸馏基线将 HR@10 相对提升 4.0-5.0%，同时延迟降低 18.3 倍（batch=1）。逐步训练监督在三个数据集上持续提升准确率，且只需在训练时付出一次代价，而非每次推荐时。
| 评论： | 已被 CIKM 2026（短文）接收。5 页，2 图，3 表 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | H.3.3; I.2.6 |
| 引用为： | arXiv:2611.07866 [cs.CL] |
| （或 arXiv:2611.07866v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07866 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM '26), November 7-11, 2026, Rome, Italy |
| 相关 DOI： | https://doi.org/10.1145/3799682.3840048
链接到相关资源的 DOI |
提交历史
来自：Hongyang Su [查看邮箱]
[v1]
Thu, 5 Nov 2026 11:43:45 UTC (968 KB)
来源：arXiv cs.CL · arxiv.org