arXiv cs.AI· Wu S. Zihan, Brian A. Yuan, Guillaume Bellec·· 11 小时前AI 评分31
面向 Transformer 的内存高效训练：用局部代理网络估计梯度
Local proxies for memory-efficient training
AI 导读
研究者提出为每个 Transformer block 训练一个局部代理网络，通过知识蒸馏预测全局网络输出，使梯度可独立回传，从而避免存储全部激活值。理论上该方法在深层线性网络中精确，在非线性残差模型中梯度误差可被界定；在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的精度/内存权衡。
正文 · AI 翻译
摘要：局部学习算法可以重塑人工智能的资源需求。标准端到端反向传播的内存瓶颈在于，需要存储所有网络激活值，直到损失梯度被反向传播回来。局部学习避免了这一点，但通常以精度为代价。我们研究如何在 transformer 中实现准确且内存高效的局部学习。对于每个 transformer 块，我们训练一个局部代理网络，通过蒸馏来预测全局网络输出。梯度可以通过这个局部代理独立传播，同时很好地估计反向传播梯度。理论上，这种方法对于深度线性网络是精确的；在非线性残差模型中，当使用适当的残差代理时，梯度误差可以被界定。我们通过数值验证了这一点，并证明优化蒸馏损失可以改善梯度估计。在视觉 transformer 上评估代理传播在 CIFAR-100 上的性能，我们发现与其他局部算法相比，它实现了更好的精度/内存权衡。最后，我们表明该方法进一步适用于在较小内存预算下微调大型语言模型。与内存高效的零阶学习算法相比，我们的方法训练更快，并在可比的内存成本下实现了更高的性能。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.23145 [cs.LG] |
| （或 arXiv:2610.23145v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23145 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihan Wu [查看电子邮件]
[v1]
2026年10月16日星期五 08:41:25 UTC（182 KB）
来源：arXiv cs.AI · arxiv.org