arXiv cs.AI· Hong T. M. Chu, Xiaoyu Dong, Subhro Ghosh, Chi Thanh Lam, Soumendu Sundar Mukherjee·· 11 小时前AI 评分18
谱神经网络 SNN 与非线性格拉姆矩阵感知中的隐式正则化
Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing
AI 导读
研究者提出谱神经网络（SNN）架构，每个神经元对输入矩阵的奇异值施加非线性激活，即以奇异值和奇异向量而非矩阵元素来坐标化矩阵空间。他们证明在梯度流下，SNN 参数化的矩阵感知模型训练中平方损失呈指数级快速衰减，且训练隐式选出近似最小化核范数的解，实证实验也验证了该架构在矩阵感知任务上的有效性。
正文 · AI 翻译
摘要：近年来，隐式偏置现象作为神经网络卓越泛化能力的一个基本方面而引起了人们的兴趣。简而言之，它意味着在许多神经网络中，即使损失函数中没有任何显式正则化项，梯度下降动力学也会收敛到某个正则化学习问题的解。
在这项工作中，我们表明这一现象扩展到矩阵感知中的非线性谱参数化。更准确地说，我们提出了一种称为谱神经网络（简称 SNN）的矩阵网络架构，其中每个神经元对输入矩阵的奇异值施加非线性激活。从概念上讲，这意味着用奇异值和奇异向量而非元素来对矩阵空间进行坐标化，这对于矩阵学习可能是一个富有成效的视角。我们证明了在梯度流（离散梯度下降的连续近似）下，SNN 参数化矩阵感知模型的训练动力学中平方损失呈指数快速衰减，并且训练会隐式地选择一个使核范数最小化的近似解。我们还通过实证研究展示了 SNN 架构在矩阵感知背景下的有效性。我们相信 SNN 架构有潜力在广泛的矩阵学习场景中得到广泛应用。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经与进化计算（cs.NE）；机器学习（stat.ML） |
| 引用为： | arXiv:2402.17595 [cs.LG] |
| （或 arXiv:2402.17595v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2402.17595 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaoyu Dong [查看电子邮件]
[v1]
2024年2月27日星期二 15:28:01 UTC（3,491 KB）
[v2]
2026年11月5日星期四 18:23:13 UTC（2,888 KB）
来源：arXiv cs.AI · arxiv.org