arXiv cs.AI· Przemys{\l}aw Spyra, Witold Dzwinel·· 3 天前AI 评分32
无需反向传播的节能深度学习：前向算法硬件验证基准测试研究
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms
AI 导读
在 NVIDIA A100 上近 1000 次运行四个视觉基准（MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100）的测试显示，去掉反向传播本身并不省电：FF 能耗是 BP 的 4.1x 至 6.3x，CaFo 为 3.0x 至 7.1x。
正文 · AI 翻译
摘要：反向传播（BP）支撑着现代深度学习，但它必须将每个激活值保存在内存中，直到全局反向扫描消耗它们，而该扫描会锁定每一层，直到上一层完成。仅前向算法，从 Hinton 的前向-前向（FF）到级联前向（CaFo）再到 Mono-Forward（MF），用局部学习信号取代全局梯度，并基于 FLOP 计数而非实际测量被宣传为更高效。我们在硬件上检验了这一说法。在四个视觉基准（MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100）上进行了近 1000 次运行，我们从 NVIDIA A100 GPU 读取能耗、功率和内存，并将每种算法与调优后的 BP 基线进行比较。移除反向传播本身并不能节省能耗：FF 的能耗是 BP 的 4.1 倍到 6.3 倍，CaFo 为 3.0 倍到 7.1 倍。Mono-Forward 是个例外。在与 BP 相同的数据遍历次数下，在测试的最大配置 3x2000 多层感知机上，它少用 12.5% 到 19.9% 的能耗和 24.6% 到 27.5% 的内存，功率更低且墙钟时间几乎相同；在 CIFAR-100 上，其测试准确率与 BP 在统计上相当。一项预注册的消融实验确定，梯度分离而非 MF 的辅助损失是所测试的主导因素。训练至收敛时，MF 在 CIFAR-10 和 CIFAR-100 上的测试准确率分别超过 BP 3.90 和 5.04 个百分点，但需要 3.5 倍到 4.5 倍的遍历次数和 3.2 倍到 4.0 倍的能耗。因此，更快的收敛是实现端到端收益的剩余目标。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| MSC 分类： | 68T07 |
| ACM 分类： | I.2.0 |
| 引用为： | arXiv:2511.01061 [cs.LG] |
| （或 arXiv:2511.01061v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.01061 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Przemysław Spyra [查看电子邮件]
[v1]
2025年11月2日星期日 19:48:44 UTC（1,721 KB）
[v2]
2026年10月12日星期一 10:45:22 UTC（116 KB）
来源：arXiv cs.AI · arxiv.org