arXiv cs.AI· Jincheng Zhang, Gy\"orgy Fazekas, Charalampos Saitis·· 3 天前AI 评分22
扩散模型自表征对齐 U-SRA 用于视频背景音乐生成
Self-Representation Alignment in Diffusion Models for Video Background Music Generation
AI 导读
研究者提出扩散 U-Net 自表征对齐架构 U-SRA，在训练中将高噪声条件下较早层的弱表征与低噪声条件下较后层的更优表征显式对齐，并采用对齐损失引导模型学习良好的内部表征。该方法用于视频背景音乐生成，通过交叉注意力机制同步音乐与视频片段，在基准视频-音乐数据集上的视频-音乐对齐度和整体音乐质量等关键指标上超越当前最优水平。
正文 · AI 翻译
摘要：扩散模型已被广泛用于各种生成任务。然而，近期研究表明，扩散模型去噪过程中学习到的内部表示意义不足，这可能阻碍生成性能。为解决这一问题，我们提出了一种新颖的扩散 U-Net 架构，通过在训练过程中显式地将较早层在较高噪声条件下产生的较弱表示与较晚层在较低噪声条件下产生的较好表示对齐来增强该架构，并将其用于视频背景音乐生成这一具有挑战性的多模态任务。我们的扩散 U-Net 自表示对齐（U-SRA）采用对齐损失来有效引导扩散模型学习良好的内部表示，从而使其能够以视频特征为条件生成更高质量的符号音乐。我们采用交叉注意力机制来同步音乐与视频片段。在基准视频-音乐数据集上的实验表明，所提出的用于视频背景音乐生成的 U-SRA 方法在关键评估指标上超越了当前最先进水平，包括视频-音乐对齐度和整体音乐质量。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15575 [cs.AI] |
| （或 arXiv:2610.15575v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15575 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jincheng Zhang [查看邮箱]
[v1]
2026年10月11日星期日 12:40:40 UTC（1,080 KB）
来源：arXiv cs.AI · arxiv.org