arXiv cs.AI· Armand Foucault (IMT), Franck Mamalet (Comue de Toulouse), Fran\c{c}ois Malgouyres (IMT)·· 11 小时前AI 评分18
正交循环神经网络量化研究：QORNN 的两种学习策略与全量化模型表现
On Orthogonal Recurrent Neural Networks Quantization
AI 导读
研究提出 QORNN，通过量化感知训练（QAT）结合正交投影的两种策略学习量化近似正交 RNN，并研究激活值的训练后量化以实现循环环路的纯整数计算。最高效的全量化模型是目前唯一能求解 1000 时间步 Copy-task 的方案，在 permuted MNIST 及部分 IoT 任务等长程依赖任务上超越现有量化模型，但在 LSTM 等门控 RNN 更擅长的任务上表现较弱。
正文 · AI 翻译
摘要：近年来，正交循环神经网络（ORNNs）因其能够处理涉及长期依赖的任务（如 Copy-task）以及具有线性复杂度而受到欢迎。然而，现有的 ORNN 使用全精度权重和激活值，这阻碍了它们在紧凑型设备上的部署。在本文中，我们探索了 ORNN 中权重矩阵的量化，从而得到量化近似正交 RNN（QORNNs）。此类网络的构建仍是一个开放问题，因其固有的不稳定性而被公认。我们提出并研究了两种通过结合量化感知训练（QAT）和正交投影来学习 QORNN 的策略。我们还研究了激活值的训练后量化，以实现循环回路的纯整数计算。目前，最高效的全量化模型是解决 1000 个时间步的 Copy-task 的唯一替代方案。在需要长期依赖的任务上，例如置换 MNIST 以及一些物联网（IoT）任务，它们也超越了现有的量化模型。然而，在长短期记忆网络（LSTMs）和其他门控 RNN 优于 ORNN 的任务上，它们的效果较差。
| 评论： | Progress in Artificial Intelligence，已接收 |
| 主题： | 神经与进化计算（cs.NE）；人工智能（cs.AI）；机器学习（cs.LG）；信号处理（eess.SP）；统计理论（math.ST） |
| 引用为： | arXiv:2402.04012 [cs.NE] |
| （或此版本的 arXiv:2402.04012v3 [cs.NE]） | |
| https://doi.org/10.48550/arXiv.2402.04012 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Francois Malgouyres [查看电子邮件] [通过 CCSD 代理]
[v1]
2024 年 2 月 5 日星期一 09:59:57 UTC（3,509 KB）
[v2]
2024 年 6 月 10 日星期一 11:40:40 UTC（2,492 KB）
[v3]
2026 年 10 月 23 日星期五 16:19:05 UTC（420 KB）
来源：arXiv cs.AI · arxiv.org