FedPA-LoRA 缓解联邦 LoRA 聚合与初始化误差
热点事件持续更新
FedPA-LoRA 缓解联邦 LoRA 聚合与初始化误差
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Juseok Jeon 等作者提出 FedPA-LoRA,一个产品对齐框架,用于同时缓解联邦 LoRA 中的聚合失配与因子级初始化失配,并为同构与异构秩建立收敛界。 该框架让客户端跨轮保留本地因子以消除初始化失配,服务器在产品空间聚合异构秩更新并重建秩约束的全局适配器,无需形成稠密聚合。作者报告,在异构秩下 GLUE 平均准确率提升 6.82 个百分点。代码已公开。
AI 根据报道生成 · 48 分钟前更新
最新进展11月3日 13:00
FedPA-LoRA:缓解异构联邦 LoRA 聚合与初始化误差的产品对齐框架报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv cs.AIFedPA-LoRA:缓解异构联邦 LoRA 聚合与初始化误差的产品对齐框架
FedPA-LoRA 提出一种产品对齐框架,同时缓解联邦 LoRA 中的聚合失配与因子级初始化失配,并为同构与异构秩建立收敛界。客户端跨轮保留本地因子以消除初始化失配,服务器在产品空间聚合异构秩更新并重建秩约束的全局适配器,无需形成稠密聚合。在异构秩下,GLUE 平均准确率提升 6.82 个百分点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。