arXiv cs.CL· Zhuomin Chen, Jingchao Ni, Qingkai Dong, Xu Zheng, Gabriel H\"ubner Lucchesi, Mo Sha, Wei Cheng, Dongsheng Luo·· 11 小时前AI 评分34
Heirloom：在手机端将个性化适配器迁移至新一代基座模型
Heirloom: Carrying a Phone's Personalization Across Base-Model Generations
AI 导读
Heirloom 可在不保留用户标注历史的情况下，把手机端个性化适配器迁移到新基座模型：以旧个性化模型为教师，在存储的无标注输入、厂商提示词或新基座生成的提示词上收集预测，再卸载旧基座、训练新适配器对齐这些预测，内存中始终只保留一个基座模型。
正文 · AI 翻译
摘要：端侧语言模型可以通过在私有数据上训练的适配器来学习用户偏好。然而，基础模型升级可能会改变层或词表，导致个人适配器不兼容。用非个人适配器替换会损失大部分个性化效果，而重新训练则需要保留用户带标签的历史记录。我们提出 Heirloom，一个在手机上无需保留标签即可将个人适配器迁移到新基础模型的系统。Heirloom 将旧的个人模型作为教师，在存储的无标签输入、厂商提供的提示或新基础模型生成的提示上收集其预测。然后卸载旧基础模型，为新模型训练一个适配器以匹配这些预测，同一时间内存中只保留一个基础模型。我们在两个模型系列的三个生成式升级、一次保持架构的刷新以及三个个性化任务上评估了 Heirloom。在电影标注任务上，从存储输入进行迁移保持了升级前的准确率，在三次升级中与带标签重新训练的差距最多为 1.7 个百分点。在手机的神经网络处理单元（NPU）上，针对 4B 升级的定长迁移耗时 38 分钟，端到端消耗 20% 的电量，使得存储输入设置在夜间充电时可行。
| 评论： | 35 页，12 张图，20 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00650 [cs.LG] |
| （或 arXiv:2611.00650v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.00650 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dongsheng Luo [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 05:26:50 UTC（420 KB）
来源：arXiv cs.CL · arxiv.org