arXiv cs.CL· Furkan Yasir Goksu, Yaren Yilmaz, Sule Gunduz Oguducu·· 11 小时前AI 评分23
微调数据预处理选择影响 LLM 推荐效果：基于 MovieLens-1M 的效用与人口敏感性研究
Preprocessing Choices in Fine-Tuning Data Matter: Utility and Demographic Sensitivity in LLM-Based Recommendation
AI 导读
研究在 MovieLens-1M 上考察微调数据预处理对生成式 LLM 推荐系统的影响，采用监督微调、目录约束解码与提示词增强构建受控流程，目录约束解码可消除目录外条目并保证完整输出十条结果。
正文 · AI 翻译
摘要：大语言模型（LLM）为推荐系统引入了一种生成式方法，即根据用户历史和物品信息的文本表示生成物品列表。然而，这种生成式设置带来了输出有效性、提示一致性以及对人口统计描述符敏感性等方面的挑战。在本工作中，我们研究了微调数据中的预处理选择如何影响基于生成式 LLM 的推荐系统的推荐效用和公平性相关行为。我们首先建立了一个受控的推荐流程，该流程结合了监督微调、目录约束解码和提示增强。随后，我们研究了三种预处理选择：物品标题表示、人口统计平衡和辅助物品知识丰富。在 MovieLens-1M 上的实验表明，目录约束流程消除了目录外物品，并确保完整的十项输出，而提示增强提高了提示一致性和效用。原始 MovieLens 标题将 HR@10 从 10.67% 提高到 12.47%，将 Coverage@10 从 41.36% 提高到 47.88%。公平性相关效应取决于属性：年龄平衡和知识丰富在基本保持效用的同时缩小了所选群体层面的效用差距，而性别平衡降低了效用，却没有改善所评估的性别相关指标。总体而言，微调数据中的预处理选择应从效用、输出行为和人口统计敏感性三个方面进行联合评估。
| 评论： | 11 页，2 幅图，5 张表。已被 CIKM 2026 第 3 届大语言模型推荐系统评估与应用研讨会（EARL）接收，2026 年 11 月 8 日，意大利罗马 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | H.3.3；I.2.7 |
| 引用为： | arXiv:2611.03113 [cs.IR] |
| （或本版本的 arXiv:2611.03113v1 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2611.03113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yaren Yilmaz [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 13:32:28 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org