arXiv cs.AI· Terry Tan·· 1 天前AI 评分29
MusicRWKV：基于 RWKV 架构的多模态音乐表示学习框架
MusicRWKV: A Multimodal RWKV Framework for Music Representation Learning
AI 导读
MusicRWKV 是一个基于 RWKV 架构的多模态音乐表示学习框架，联合建模波形、频谱图和元数据，以规避 Transformer 二次注意力复杂度在长时长音乐上的计算与内存开销。
正文 · AI 翻译
摘要：近期的音乐基础模型在音乐表示学习方面取得了显著进展，但现有方法大多依赖 Transformer 架构，其二次方注意力复杂度在对长时长音乐录音建模时会带来大量的计算与内存开销。在本工作中，我们提出 MusicRWKV，一个基于 RWKV 架构的多模态音乐表示学习框架。MusicRWKV 在统一的自监督学习框架内联合建模波形、频谱图和元数据信息。为提升长音乐序列的处理效率，我们引入了一个可逆压缩模块，在保持重建能力的同时缩短序列长度。我们采用基于 FiLM 的条件化策略，在不引入昂贵的交叉注意力操作的情况下促进模态感知的表示学习。我们进一步研究了将 Soft ROSA 集成为神经符号交互的可微检索机制。在多样化的音乐信息检索（MIR）基准集合上的实验评估表明，所提出的基于 RWKV 的架构能够有效适配异构的音乐理解任务。一项受控的预训练消融实验表明，Soft ROSA 提升了验证性能，而逐层遥测分析揭示了在更深的网络层中从分布式检索到选择性检索的渐进转变。这些结果表明，RWKV 为多模态音乐理解提供了一种有前景的架构替代方案，可替代基于 Transformer 的模型。
| 学科： | 声音（cs.SD）；人工智能（cs.AI）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2611.16718 [cs.SD] |
| （或 arXiv:2611.16718v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16718 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Terry Tan [查看邮箱]
[v1]
2026年11月12日星期四 12:34:08 UTC（848 KB）
来源：arXiv cs.AI · arxiv.org