arXiv cs.AI· Gabriel U. Talasso, Meghdad Kurmanji, Allan M. de Souza, Nicholas D. Lane, Leandro A. Villas·· 9 天前AI 评分22
FedRouter：面向任务的语言模型个性化联邦微调方法
Task-Centric Personalized Federated Fine-Tuning of Language Models
AI 导读
针对个性化联邦学习中客户端面临未见任务泛化差与客户端内多任务干扰的问题，研究者提出 FedRouter，一种基于聚类的个性化联邦学习方法，按任务而非按客户端构建专用模型。该方法通过局部与全局两种聚类机制将适配器与特定任务关联，并用评估路由器将测试样本路由到最佳适配器。在多任务数据集上，FedRouter 在任务干扰场景下相对提升最高 6.1%，在泛化评估中相对提升最高 136%。
正文 · AI 翻译
摘要：联邦学习（FL）已成为一种有前景的技术，可在分布式且私有的多样化任务数据集上训练语言模型。然而，聚合在异构任务上训练的模型往往会降低各个客户端的整体性能。为解决这一问题，个性化联邦学习（pFL）旨在为每个客户端的数据分布量身定制模型。尽管这些方法提升了本地性能，但通常在两方面的鲁棒性不足：（i）泛化性：当客户端必须对未见过的任务进行预测，或面临其数据分布变化时；（ii）客户端内任务干扰：当单个客户端的数据包含多个分布，在本地训练期间可能相互干扰时。为应对这两个挑战，我们提出 FedRouter，一种基于聚类的 pFL，它为每个任务而非每个客户端构建专用模型。FedRouter 使用适配器来个性化模型，通过采用两种聚类机制将适配器与特定任务关联。一种是本地聚类，将适配器与任务数据样本关联；另一种是全局聚类，将来自不同客户端的相似适配器关联起来，以构建以任务为中心的个性化模型。此外，我们提出了一种评估路由器机制，根据所创建的聚类将测试样本路由到最佳适配器。在多任务数据集上，将我们的方法与现有方法进行比较的实验表明，FedRouter 在这些具有挑战性的场景中表现出强大的韧性，在任务干扰下相对提升高达 6.1%，在泛化评估下相对提升高达 136%。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.00050 [cs.LG] |
| （或 arXiv:2604.00050v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2604.00050 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gabriel Ukstin Talasso [查看电子邮件]
[v1]
2026年3月30日星期一 20:01:53 UTC（724 KB）
[v2]
2026年4月5日星期日 19:47:01 UTC（724 KB）
[v3]
2026年10月8日星期四 15:44:51 UTC（724 KB）
来源：arXiv cs.AI · arxiv.org