arXiv cs.CL· Yue Wu, Chengbing Wang, Yimeng Bai, Xiaoyan Zhao, Yang Zhang, Fuli Feng·· 10 小时前AI 评分22
PrefReward：用用户偏好矩阵实现个性化文本生成
PrefReward: Learning User Preference Matrix for Personalized Text Generation
AI 导读
PrefReward 是一个偏好感知生成框架，通过结构化偏好矩阵显式建模用户风格，并将其作为奖励信号接入解码过程。该框架分两阶段：先提取用户专属偏好矩阵以总结个人风格倾向，再用基于 KL 散度的奖励函数引导生成。在 LongLaMP 数据集上，PrefReward 在生成质量和个性化可解释性上均优于检索类基线与上下文引导方法。
正文 · AI 翻译
摘要：大型语言模型（LLMs）在利用用户历史和上下文线索生成个性化内容方面展现出显著能力。然而，现有大多数个性化方法依赖模型参数中的隐式表示，难以解释用户特定偏好或有效处理长上下文依赖。为应对这些挑战，我们提出 PrefReward，一种新颖的偏好感知生成框架，通过结构化偏好矩阵显式建模用户风格，并将其作为奖励信号集成到解码过程中。PrefReward 包含两个阶段：（1）提取概括个体风格倾向的用户特定偏好矩阵；（2）利用该矩阵通过基于 KL 散度的奖励函数引导生成。在 LongLaMP 数据集上的实验表明，PrefReward 在生成质量和个性化可解释性方面均优于基于检索的基线和上下文引导方法。
| 评论： | 新增了若干分析和可视化，修正了拼写错误 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.21067 [cs.CL] |
| （或 arXiv:2607.21067v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.21067 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yue Wu [查看邮箱]
[v1]
2026年7月23日星期四 09:00:20 UTC（1,810 KB）
[v2]
2026年11月10日星期二 07:43:54 UTC（417 KB）
来源：arXiv cs.CL · arxiv.org