跳到正文
arXiv cs.CL· Heng Cao, Fan Zhang, Jian Yao, Yujie Zheng, Changlin Zhao, Lu Hao, Yuxuan Wei, Wangze Ni, Huaiyu Fu, Yuqian Sun, Xuyan Mo·· 9 小时前AI 评分34

TAP-PER:用紧凑用户表示实现可扩展的 LLM 个性化

Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

AI 导读

研究者提出 TAP-PER(Temporal Attentive Prefix for PERsonalization),将用户偏好编码为可学习的用户状态前缀嵌入,无需把用户历史序列化进提示词,也无需为每个用户维护重型适配器。

正文 · AI 翻译

作者:Heng Cao、Fan Zhang、Jian Yao、Yujie Zheng、Changlin Zhao、Lu Hao、Yuxuan Wei、Wangze Ni、Huaiyu Fu、Yuqian Sun、Xuyan Mo

查看 PDF HTML(实验性)

摘要:个性化大语言模型需要使模型行为适配单个用户,同时保持鲁棒性和部署规模的效率。现有方法通常在输入层面实现 LLM 个性化,即检索用户历史或构建画像提示,或在参数层面实现,即维护用户特定的参数高效模块。前者使个性化对检索质量和提示设计敏感,而后者会带来随用户规模增长而增加的存储与维护成本。为解决这些局限,我们提出 TAP-PER(Temporal Attentive Prefix for PERsonalization),这是一个基于前缀的框架,将用户偏好编码为可学习表示,避免将用户历史序列化为提示,并用轻量级用户状态前缀嵌入替代繁重的每用户适配器。受个性化推荐系统启发,TAP-PER 将用户建模分解为用户状态和查询条件组件,并引入时间信号以捕捉用户兴趣的演化特性。在六个 LaMP 任务上的实验表明,TAP-PER 在分类、评分和生成设置中均持续优于基于提示和基于模型的基线。此外,在 1,000 用户规模下,TAP-PER 的每用户参数比 OPPU 少 130 倍,总参数占用约为 PER-PCS 的一半,展示了无需提示序列化历史或繁重每用户适配器的可扩展个性化。
评论: EMNLP 2026 Findings
主题: 信息检索(cs.IR);计算与语言(cs.CL)
引用为: arXiv:2606.04547 [cs.IR]
  (或 arXiv:2606.04547v4 [cs.IR] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.04547

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Heng Cao [查看邮箱]
[v1] 2026年6月3日星期三 07:32:18 UTC(433 KB)
[v2] 2026年6月13日星期六 04:11:45 UTC(432 KB)
[v3] 2026年9月2日星期三 03:18:30 UTC(451 KB)
[v4] 2026年11月17日星期二 03:51:50 UTC(442 KB)

来源:arXiv cs.CL · arxiv.org