arXiv cs.AI· Yiran Shen, Yu Xia, Liuyi Yao, Prithviraj Ammanabrolu·· 13 小时前AI 评分31
Persona Learning from Feedback：用反馈训练可复用 LoRA 人设实现个性化 AI 助手
Persona Learning from Feedback for Personalized AI Assistants
AI 导读
研究者提出 Persona Learning from Feedback（PLF）框架，将可复用的、基于偏好的助手人设学习为共享冻结主干上的独立 LoRA 适配器。
正文 · AI 翻译
摘要：个性化 AI 助手需要使其行为适应用户的偏好和任务上下文。现有工作通过角色提示或在角色条件生成上微调来引出助手角色。然而，仅凭角色描述无法确定在特定回复中应更改或保留什么，也无法确定哪些行为适合当前请求。我们提出 $\textit{Persona Learning from Feedback (PLF)}$，一个将可复用、基于偏好的助手角色作为独立 LoRA 适配器学习到共享冻结主干上的框架。在训练期间，一个冻结的自教师模型以角色规范和针对回复的反馈为条件，对每个适配器自身生成的前缀提供 token 级监督。反馈门控将纠正性更新集中在被判定需要改进的回复上。在部署时，一个监督路由器使用请求或对话来选择单个适配器或固定组合，无需针对用户进行微调。我们在使用模型生成评论的单轮个性化以及使用模拟学生反应的多轮辅导中评估 PLF。在这两种设置下，PLF 在模型判定的偏好契合度上优于固定角色策略以及包括角色提示和角色蒸馏在内的强基线，展示了反馈训练的行为如何能够被复用于自适应助手个性化，同时不降低通用能力。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.38561 [cs.LG] |
| （或 arXiv:2610.38561v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38561 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiran Shen [查看电子邮件]
[v1]
2026年10月28日星期三 09:55:26 UTC（289 KB）
来源：arXiv cs.AI · arxiv.org