研究者提出联邦LoRA方法SPRA-LoRA
热点事件持续更新
研究者提出联邦LoRA方法SPRA-LoRA
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者提出一种联邦LoRA微调策略SPRA-LoRA：客户端冻结并周期性重采样LoRA的A矩阵，解耦A、B梯度，使计算与上行通信开销降低50%。 理论分析称，冻结A后梯度信噪比随适应秩r线性增长，因此客户端学习率需按秩动态缩放。实验显示，该方法在客户端开销减半的情况下持续优于SOTA基线。
AI 根据报道生成 · 54 分钟前更新
最新进展11月11日 13:00
SPRA-LoRA：面向联邦 LoRA 的随机投影与秩感知学习率报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AISPRA-LoRA：面向联邦 LoRA 的随机投影与秩感知学习率
研究者提出 SPRA-LoRA，一种联邦 LoRA 微调策略：在客户端冻结并周期性重采样 LoRA 的 A 矩阵，解耦 A、B 梯度，将计算与上行通信开销降低 50%。理论分析表明，冻结 A 后梯度信噪比随适应秩 r 线性增长，因此客户端学习率需按秩动态缩放。实验显示该方法在客户端开销减半的情况下持续优于 SOTA 基线。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。