arXiv cs.AI· Mingzi Cao, Xi Wang, Nikolaos Aletras·· 13 小时前AI 评分31
DS-Upcycling：面向多专业领域的大语言模型升级改造方法
Upcycling Language Models for Multiple Specialized Domains
AI 导读
研究者提出 Domain-Specialized Upcycling（DS-Upcycling），通过给稠密 Transformer 层增加专家和路由器实现多领域适配，微调每个新领域时只更新对应专家与路由器、冻结其余参数。每个领域仅用 256 条样本监督路由器，适配后路由准确率达 90-98%，而常规训练的 router 仅 43-70%。该方法在适配领域上取得最高平均性能，同时保持通用能力。
正文 · AI 翻译
摘要：大型语言模型的有效多领域适配需要在优先利用相关领域知识的同时，尽量减少无关领域的干扰。现有方法通常使用低秩适配（LoRA）为每个领域训练单独的适配器，并在一个模型内组合这些适配器。然而，这些方法要么不考虑输入领域而平等地加权各适配器，要么动态加权适配器但仍会激活包括无关适配器在内的所有适配器。此外，这些方法虽然高效，但其低秩结构限制了性能。相比之下，upcycling 是一种模型扩展方法，它向稠密 Transformer 层添加专家和路由器，提供比 LoRA 方法更大的容量。本文提出面向多领域适配的领域专用 Upcycling（DS-Upcycling）。我们引入一种新的领域感知监督，使路由器能够通过选择合适的专家来有效学习区分领域。在每个新领域上微调时，我们只更新对应的专家和路由器，同时冻结所有其他参数。实验表明，与基线相比，我们的方法在适配领域上取得了最高的平均性能，同时保持了通用性能。仅用每个领域 256 个示例进行路由器监督，DS-Upcycling 在适配后达到 90-98% 的路由准确率，而未经我们方法训练的路由器为 43-70%。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40091 [cs.CL] |
| （或 arXiv:2610.40091v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40091 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingzi Cao [查看电子邮件]
[v1]
2026年10月29日星期四 13:58:38 UTC（335 KB）
来源：arXiv cs.AI · arxiv.org