arXiv cs.AI· Junling Liu, Chao Liu, Peilin Zhou, Qichen Ye, Dading Chong, Kang Zhou, Yueqi Xie, Yuwei Cao, Shoujin Wang, Chenyu You, Philip S. Yu·· 3 天前AI 评分24
LLMRec：大语言模型推荐任务基准测试
LLMRec: Benchmarking Large Language Models on Recommendation Task
AI 导读
研究者提出 LLMRec，在评分预测、序列推荐、直接推荐、解释生成和评论摘要五项推荐任务上对 ChatGPT、LLaMA、ChatGLM 等现成 LLM 进行基准测试。结果显示，LLM 在序列推荐和直接推荐等准确性任务上仅表现中等，但在可解释性任务上达到与 SOTA 方法相当的水平。研究还考察了监督微调对提升 LLM 指令遵循能力的效果，代码、数据和基准结果已公开。
正文 · AI 翻译
作者：Junling Liu、Chao Liu、Peilin Zhou、Qichen Ye、Dading Chong、Kang Zhou、Yueqi Xie、Yuwei Cao、Shoujin Wang、Chenyu You、Philip S.Yu
摘要：近来，ChatGPT 等大型语言模型（LLM）的快速发展通过增强对话模型的能力，显著推进了 NLP 任务。然而，LLM 在推荐领域的应用尚未得到充分研究。为填补这一空白，我们提出 LLMRec，一个基于 LLM 的推荐系统，旨在对 LLM 在各类推荐任务上的表现进行基准测试。具体而言，我们对 ChatGPT、LLaMA、ChatGLM 等若干流行的现成 LLM 在五项推荐任务上进行了基准测试，包括评分预测、序列推荐、直接推荐、解释生成和评论摘要。此外，我们研究了监督微调对提升 LLM 指令遵循能力的有效性。基准测试结果表明，LLM 在基于准确性的任务（如序列推荐和直接推荐）中仅表现出中等水平。然而，在基于可解释性的任务中，它们展现出与最先进方法相当的性能。我们还进行了定性评估，以进一步评估不同模型生成内容的质量，结果表明 LLM 能够真正理解所提供的信息，并生成更清晰、更合理的结果。我们希望该基准测试能启发研究人员更深入地探索 LLM 在提升推荐性能方面的潜力。我们的代码、处理后的数据和基准测试结果可在 此 https URL 获取。
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2308.12241 [cs.IR] |
| （或本版本使用 arXiv:2308.12241v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2308.12241 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junling Liu [查看邮箱]
[v1]
2023年8月23日星期三 16:32:54 UTC（3,233 KB）
[v2]
2026年10月13日星期二 09:53:32 UTC（640 KB）
来源：arXiv cs.AI · arxiv.org