arXiv cs.AI· Shenghui Li, Li Ju, Thiemo Voigt·· 10 小时前AI 评分31
HiLo：用压缩梯度同步替代 LoRA 传输，加速分布式 on-policy 后训练
Train High, Ship Low: Efficient LoRA Synchronization for Distributed On-Policy Post-Training
AI 导读
HiLo 提出用压缩梯度分发与本地优化器重放替代 LoRA 适配器参数传输，在带宽受限的分布式 on-policy 后训练中保持学习质量接近全量同步，传输字节仅为适配器的 1.6%，端到端更新最高加速 2.2 倍。配套的 Spar 是预算感知梯度压缩器，结合谱截断、自适应秩分配与误差反馈，将训练秩与通信成本解耦。
正文 · AI 翻译
摘要：将 LoRA 适配器传输到 rollout worker 可能会在带宽受限的网络上成为分布式同策略后训练的瓶颈。降低训练秩可能会限制工作负载所需的容量，而自适应优化器更新难以压缩。rollout worker 可以通过维护复制的优化器状态，从梯度重建更新。我们提出 HiLo，一个与压缩器无关的框架，用压缩梯度分发和本地优化器重放取代参数传输。通过应用相同的解码梯度，学习器和 worker 在可复现执行下于同一版本保持一致的策略状态。我们进一步开发 Spar，一种预算感知的梯度压缩器，结合谱截断、自适应秩分配和误差反馈，将训练秩与通信成本解耦。在同策略蒸馏和奖励引导后训练上的实验表明，HiLo 与 Spar 结合在仅传输低至 1.6% 适配器字节的情况下，保持接近完全同步的学习质量，并在带宽约束下将端到端更新加速最高达 $2.2\times$。
| 评论： | 19 页，7 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13306 [cs.LG] |
| （或 arXiv:2611.13306v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13306 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shenghui Li [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 22:18:34 UTC（1,654 KB）
来源：arXiv cs.AI · arxiv.org