SplitLite：低秩残差压缩的分割学习通信优化
热点事件持续更新
SplitLite：低秩残差压缩的分割学习通信优化
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Tao Li 等作者提出 SplitLite，一种面向拆分联邦 LoRA 微调的通信压缩方法：利用相邻 epoch 激活与梯度残差的低有效秩结构，只传输量化截断 SVD 的残差因子。 作者在 GLUE 基准上对多款端侧大模型测试称，激活上行通信成本最多降低 93.5%，总通信成本最多降低 88.6%，且模型性能不损失。上述降幅与“不损失性能”均为作者报告的结果。
AI 根据报道生成 · 48 分钟前更新
最新进展11月11日 13:00
SplitLite：面向拆分学习的低秩残差压缩方法报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AISplitLite：面向拆分学习的低秩残差压缩方法
SplitLite 是一种通信高效的拆分联邦 LoRA 微调方法，利用相邻 epoch 激活与梯度残差的低有效秩结构，仅传输量化截断 SVD 残差因子。在 GLUE 基准上对多款端侧 LLM 的实验显示，激活上行通信成本最多降低 93.5%，总通信成本最多降低 88.6%，且不损失模型性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。