arXiv cs.AI· Hazem Hesham Yousef Shalby, Fabrizio Pittorino, Manuel Roveri·· 3 天前AI 评分27
深度神经网络的内存高效纯整数训练
Memory-Efficient Integer-Only Training of Deep Neural Networks
AI 导读
一种新的训练算法让所有权重、梯度和激活值均以 INT8 存储，前向、反向、权重更新与优化器更新全部用整数运算完成，训练内存约为 FP32 基线的 1/4。
正文 · AI 翻译
摘要：以降低的精度训练神经网络可以带来显著的效率提升，然而所有能扩展到标准计算机视觉基准的现有方法都至少在某一阶段保留了浮点数，通常是权重更新或优化器状态。我们提出了一种可扩展到现代深度神经网络的训练算法，其中每个张量（权重、梯度和激活）都存储为 INT8，每个操作（前向传播、反向传播、权重更新、优化器更新）都以整数运算执行。具体而言，张量存储为带符号整数尾数并配以显式的二次幂指数，在此基础上使用五个可组合的自定义构建块（乘积、求和、除以常数、非线性函数和权重更新）执行纯整数运算。这使得可训练整数层的完整实现成为可能，包括卷积、批归一化和层归一化、softmax 以及 GELU。一种带有独立指数跟踪的逐组速度机制可在量级各异的神经元和通道之间保持梯度精度。由于每个张量都适合 INT8，训练内存比 FP32 基线大约小 4 倍。我们在 CNN（ResNet-18/34/50/101、MobileNetV2）和视觉 Transformer（ViT-Ti / B）上验证了我们的训练算法，首次证明使用 INT8 张量和整数运算训练神经网络可以在降低的内存预算下，在 CIFAR-10、CIFAR-100 和 ImageNet 上达到有竞争力的准确率。
| 评论： | 19 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16298 [cs.AI] |
| （或 arXiv:2610.16298v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16298 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hazem Hesham Yousef Shalby [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 07:25:58 UTC（300 KB）
来源：arXiv cs.AI · arxiv.org