arXiv cs.AI· Lishan Yang, Wei Emma Zhang, Nam Kha Nguygen, Po Hu, Yanjun Shu, Weitong Chen, Mong Yuan Sim·· 14 小时前AI 评分22
FediLoRA：在模态缺失约束下实用地联邦微调基础模型
FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints
AI 导读
FediLoRA 是一个轻量级联邦 LoRA 聚合框架，可同时应对参与机构 LoRA 秩不均衡与模态缺失两大问题，据作者称此前尚无工作同时处理这两项挑战。该方法在多个通用领域与医疗领域基准数据集上取得较强性能，医疗数据实验显示其适合实际部署场景，代码已开源。
正文 · AI 翻译
摘要：基于 LoRA 微调的联邦学习为机构提供了一种高效且注重隐私的解决方案，使其能够协作利用大规模数据集来训练 VLLM。然而，参与机构往往拥有异构的计算资源，导致 LoRA 秩不均衡，这给有效协作带来了重大挑战。此外，医疗和交通等领域的实际应用常因用户失误或设备故障而出现模态缺失，这在联邦设置下会显著降低全局模型性能。据我们所知，此前尚无工作在联邦 VLLM 中同时解决这两个挑战。为解决这些问题，我们提出了 FediLoRA，一个轻量级联邦 LoRA 聚合框架，可有效缓解异构环境中模态缺失的影响。FediLoRA 的提出明确源于以下观察：简单平均与结构化编辑可以共同惠及全局模型和个性化模型。我们的方法在多个通用领域和医学领域基准数据集上取得了强劲性能。针对医疗数据的额外实验进一步表明，FediLoRA 非常适合实际、真实世界的部署场景。我们的代码发布于 此 https URL。
| 评论： | 8 页，7 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.7；I.2.11 |
| 引用为： | arXiv:2509.06984 [cs.LG] |
| （或 arXiv:2509.06984v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2509.06984 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lishan Yang [查看邮箱]
[v1]
2025 年 9 月 1 日星期一 10:40:13 UTC（4,613 KB）
[v2]
2025 年 9 月 23 日星期二 04:55:03 UTC（4,613 KB）
[v3]
2026 年 5 月 18 日星期一 12:48:12 UTC（3,304 KB）
[v4]
2026 年 10 月 24 日星期六 08:24:18 UTC（5,283 KB）
来源：arXiv cs.AI · arxiv.org