arXiv cs.AI· Tao Li, Yulin Tang, Qi Guo, Xianhao Chen·· 10 小时前AI 评分31
SplitLite：面向拆分学习的低秩残差压缩方法
SplitLite: Low-Rank Residual Compression for Split Learning
AI 导读
SplitLite 是一种通信高效的拆分联邦 LoRA 微调方法，利用相邻 epoch 激活与梯度残差的低有效秩结构，仅传输量化截断 SVD 残差因子。在 GLUE 基准上对多款端侧 LLM 的实验显示，激活上行通信成本最多降低 93.5%，总通信成本最多降低 88.6%，且不损失模型性能。
正文 · AI 翻译
摘要：设备端大型语言模型（LLM）的联邦微调面临巨大的计算负担。为克服这一限制，拆分学习（SL）已成为一种有前景的解决方案，它将主要训练工作负载卸载到强大的服务器上。然而，SL 需要在客户端与服务器之间交换高维激活值和梯度，导致通信成本过高。为应对这一挑战，我们提出 SplitLite，一种通信高效的拆分联邦 LoRA 微调方法，它利用了连续轮次激活值与梯度残差的低有效秩结构。我们的关键发现是：在预训练骨干网络冻结的低秩 LoRA 更新下，同一数据样本在相邻轮次之间的激活值和梯度残差呈现低有效秩，其大部分能量集中在少数奇异方向上。利用这一特性，SplitLite 仅传输量化后的截断奇异值分解（SVD）残差因子，从而显著降低激活值上行链路和梯度下行链路的流量。在 GLUE 基准上针对一系列先进设备端 LLM 的大量实验表明，我们的方法在不牺牲模型性能的前提下，将激活值上行通信成本最多降低 93.5\%，总通信成本最多降低 88.6%。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.23018 [cs.LG] |
| （或本版本的 arXiv:2608.23018v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2608.23018 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tao Li [查看邮箱]
[v1]
2026年8月24日星期一 09:20:04 UTC（22,389 KB）
[v2]
2026年9月5日星期六 13:12:30 UTC（1 KB）（已撤回）
[v3]
2026年11月10日星期二 05:02:06 UTC（21,901 KB）
来源：arXiv cs.AI · arxiv.org