arXiv cs.AI· Mateusz Modrzejewski, Joanna Kurkowska, Dorien Herremans·· 13 小时前AI 评分31
音乐音频生成模型教程：从神经音频编解码器到实时演奏系统
A Tutorial on Generative Models for Music Audio
AI 导读
一篇面向熟悉神经网络训练、但刚接触音乐生成的读者的教程专著，用统一符号体系讲解神经音频编解码器与自编码器、自回归与掩码 token 模型、扩散与 flow matching、采样加速和偏好优化，并用实例将训练目标与采样流程对应到已发表系统。
正文 · AI 翻译
摘要：音乐音频生成涵盖器乐片段、带人声的完整歌曲、对现有录音的编辑，以及与音乐家实时同台演奏的系统。本专著面向熟悉神经网络训练但初次接触音乐生成的读者，阐释这些系统背后的方法。它以统一的记号介绍神经音频编解码器与自编码器、自回归与掩码 token 模型、扩散与流匹配、采样加速以及偏好优化。实例将训练目标与采样流程同已发表的系统联系起来。应用部分将器乐生成、歌曲、编辑和现场演奏的音乐需求与模型设计相关联。对比表记录了论文和官方来源中记载的表示、方法、输入、任务和发布信息。符号作曲、语音和音效在与音乐音频相关之处亦有涉及。我们说明如何解读自动指标与学习型评判器、设计与报告听测，以及评估关于数据来源、记忆化、归属和输出检测的证据。选定的法律判决与纠纷说明了其对训练和发布的影响。所综述的系统将成熟的生成范式与新的表示、规划阶段和训练后流程相结合。数据、规模和评估上的差异限制了跨系统比较所能确立的关于所报告增益来源的结论。
| 学科： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；新兴技术（cs.ET）；多媒体（cs.MM）；声音（cs.SD） |
| MSC 分类号： | 68T07（主），68-02，00A65，94A12，60J60（次） |
| ACM 分类号： | A.1；H.5.5；I.2.6；G.3；J.5 |
| 引用为： | arXiv:2610.38252 [eess.AS] |
| （或本版本的 arXiv:2610.38252v1 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2610.38252 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dorien Herremans [查看邮箱]
[v1]
2026年10月28日星期三 04:04:24 UTC（307 KB）
来源：arXiv cs.AI · arxiv.org