arXiv cs.AI· Gwen Legate, Rahaf Aljundi, Eugene Belilovsky·· 2 天前AI 评分22
Optimal Hydra：面向 LLM 微调的模型异构联邦学习框架
Optimal Hydra: Model Heterogeneous Federated Learning for LLMs using Data-Informed Hydra-Nets
AI 导读
Optimal Hydra 是一个基于 Transformer 的模型异构联邦学习框架，专为 LLM 微调设计，结合全局层选择与客户端专属注意力头选择，利用本地数据分布生成客户端专属子网络 Hydra-nets。这是首个面向 LLM 微调的模型异构联邦学习方法，在三个数据集上显著优于基线方法，同时降低了本地资源需求。
正文 · AI 翻译
摘要：在海量数据上训练的大型语言模型（LLM）在一系列任务上表现出令人印象深刻的性能，但未来的性能提升将需要更多的数据和算力。联邦学习（FL）便于在去中心化的私有数据上进行训练，但客户端资源限制可能使训练不切实际，尤其是随着模型规模不断扩大。这些资源约束使得共享的服务器-客户端架构假设变得不切实际。模型异构联邦学习通过使模型规模适应客户端能力，提供了一种有前景的替代方案；然而，先前的工作仅限于预训练场景，且关于子网络选择的结论不一定适用于微调。此外，先前的方法在创建客户端子网络时未考虑其独特的数据分布，从而忽视了根据本地数据定制子网络架构的机会。受注意力头在层定义的 feature 空间中表现出任务依赖性的证据启发，我们提出 Optimal Hydra，一种基于 transformer 的异构联邦学习微调框架，它将全局层选择与客户端特定的注意力头选择相结合，并与本地数据分布对齐。Optimal Hydra 显式利用客户端数据来生成客户端特定的子网络，我们称之为 Hydra-nets。据我们所知，这是首个针对 LLM 微调的模型异构联邦学习方法。在三个数据集上的实验表明，与基线方法相比有显著改进，同时降低了本地资源需求。
| 评论： | 目前正在提交中 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20753 [cs.LG] |
| （或 arXiv:2610.20753v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20753 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Gwendolyne Legate [查看电子邮件]
[v1]
2026年10月14日星期三 18:08:34 UTC（1,114 KB）
来源：arXiv cs.AI · arxiv.org