arXiv cs.CL· Li Wang, Chen Zhang, Yirong Yang, Xingyu Chen, Jinkun Zhao, Tianhao Peng, Wenjun Wu·· 3 天前AI 评分24
SkillGrain：从用户反馈中学习可迁移的个人技能
Learning What to Keep: Transfer-Aware Personal Skill Learning from User Feedback
AI 导读
针对用户反馈中持久偏好与请求特定修正混杂导致负迁移的问题，研究者提出 SkillGrain 框架，将反馈分解为可独立执行的规则并预测其可迁移性，仅保留适合未来请求的规则。该方法结合评分标准引导的技能奖励与细粒度信用分配，并通过强化学习联合优化技能归纳与技能条件生成。在覆盖五类个性化写作任务的基准上，SkillGrain 在三个基座模型的域内与域外设置中均取得最佳平均性能。
正文 · AI 翻译
摘要：用户反馈使 LLM 能够提炼可复用的个性化技能，但往往将持久偏好与针对具体请求的修正混在一起。不加区分地保留两者会带来负迁移风险，因此需要在单个需求层面进行选择性保留。我们将这一挑战界定为对原子规则的选择性迁移，并提出 SkillGrain，一个从用户反馈中学习可复用个性化技能的框架。SkillGrain 将反馈分解为可独立执行的规则，预测其可迁移性，并仅保留适合未来请求的规则。为了学习这些决策，我们将评分标准引导的技能奖励与细粒度信用分配相结合，分别评估规则内容和保留决策。我们进一步通过强化学习联合优化技能归纳和以技能为条件的生成，确保学到的技能能够支持下游个性化。我们构建了一个涵盖五项个性化写作任务的基准，以评估跨请求泛化能力。在域内和域外设置下对三个基础模型的实验表明，SkillGrain 在竞争方法中取得了最佳的整体平均性能。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19380 [cs.CL] |
| （或 arXiv:2610.19380v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19380 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Li Wang [查看电子邮件]
[v1]
2026年10月14日星期三 01:27:19 UTC（822 KB）
来源：arXiv cs.CL · arxiv.org