跳到正文
热点事件持续更新

FedPA-LoRA 缓解联邦 LoRA 聚合与初始化误差

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Juseok Jeon 等作者提出 FedPA-LoRA,一个产品对齐框架,用于同时缓解联邦 LoRA 中的聚合失配与因子级初始化失配,并为同构与异构秩建立收敛界。 该框架让客户端跨轮保留本地因子以消除初始化失配,服务器在产品空间聚合异构秩更新并重建秩约束的全局适配器,无需形成稠密聚合。作者报告,在异构秩下 GLUE 平均准确率提升 6.82 个百分点。代码已公开。

AI 根据报道生成 · 48 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv cs.AI
    FedPA-LoRA:缓解异构联邦 LoRA 聚合与初始化误差的产品对齐框架

    FedPA-LoRA 提出一种产品对齐框架,同时缓解联邦 LoRA 中的聚合失配与因子级初始化失配,并为同构与异构秩建立收敛界。客户端跨轮保留本地因子以消除初始化失配,服务器在产品空间聚合异构秩更新并重建秩约束的全局适配器,无需形成稠密聚合。在异构秩下,GLUE 平均准确率提升 6.82 个百分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。