arXiv cs.CL· Oliver Giudice, Anna Russo Russo·· 12 小时前AI 评分18
基于 KAN 的非线性分解用于嵌入层压缩
A KAN-based Non-linear Factorization for Embedding Layer Compression
AI 导读
研究者提出一种基于 Kolmogorov Arnold Networks（KAN）的嵌入层压缩方案，用可学习非线性投影替代低秩分解中的固定线性变换，以缓解线性瓶颈对表征能力的限制。
正文 · AI 翻译
摘要：在现有的嵌入压缩方法中，低秩分解通过用降秩分解近似嵌入矩阵，提供了一种简单且具有数学原理的解决方案。然而，其实际效果往往有限，因为由此产生的线性瓶颈限制了表示能力。为克服这些局限，我们提出了一种增强的分解方案，通过在压缩嵌入层中引入可学习的非线性投影来提高表达能力。我们的方法受 Kolmogorov Arnold Networks（KAN）范式启发，该范式用可学习的单变量函数替代固定的线性变换。尽管 KAN 在其他领域取得了有前景的结果，但其在 NLP 中的应用仍然稀少，且迄今主要局限于最终层或任务特定层，而非嵌入层等核心表示组件。
我们通过将压缩嵌入层集成到 Skip-gram 框架中来评估所提出的方法，并在参数预算匹配的条件下，在 Word Analogy 和 Semantic Similarity 基准上将其与标准低秩基线进行比较。我们进一步引入了一种基于预训练未压缩嵌入层的有效初始化策略。我们分析了模型在初始化后立即以及在短暂的后初始化精炼阶段之后的行为，同时考虑了使用标准 Skip-gram 目标进行训练，以及使用从原始嵌入层进行蒸馏增强的变体进行训练。总体而言，我们的结果表明，用可学习的非线性投影增强低秩分解能有效缓解线性瓶颈的局限，在固定维度下产生更忠实的压缩嵌入，并为超越纯线性方法的嵌入层压缩指明了一个有前景的方向。
| 评论： | 第18届文本数据统计分析国际会议（JADT 2026） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29424 [cs.CL] |
| （或 arXiv:2610.29424v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29424 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oliver Giudice [查看电子邮件]
[v1]
2026年10月21日星期三 08:49:06 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org