arXiv cs.CL· Xin Cheng, Yuyue Wang, Xihua Wang, Yihan Wu, Kaisi Guan, Yijing Chen, Peng Zhang, Xiaojiang Liu, Meng Cao, Ruihua Song·· 11 小时前AI 评分34
ViSSFlow：用统一流匹配框架联合生成视频条件音效与语音
ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning
AI 导读
ViSSFlow 是一个统一流匹配框架，将视频到音效（V2S）与视觉文本转语音（VisualTTS）两类任务合并到单一模型中。它通过解耦条件聚合机制，在 Diffusion Transformer 中用 cross-attention 建模语义条件、self-attention 捕捉时间密集的视觉线索，并证明联合优化不会造成任务干扰。
正文 · AI 翻译
摘要：视频条件音频生成，包括视频到声音（V2S）和视觉文本到语音（VisualTTS），尽管它们共同的目标是基于视觉内容生成音频，传统上却被作为两个独立任务来研究。现有方法依赖于任务特定的架构和训练范式，而由于条件信号异构且联合训练数据有限，统一生成框架的可能性在很大程度上仍未被探索。本文提出 ViSSFlow，一个用于 V2S 和 VisualTTS 的统一流匹配框架。为了在扩散 Transformer（DiT）中有效整合多样化的条件模态，我们引入了一种解耦条件聚合机制，利用注意力层的互补作用，使用交叉注意力建模语义条件，使用自注意力捕获时间密集的视觉线索。此外，与 V2S 和 VisualTTS 联合优化会导致任务干扰的常见假设相反，我们表明单个模型可以在不牺牲任务特定性能的情况下进行端到端训练。为了解决覆盖声音和语音生成的配对训练数据稀缺问题，我们进一步提出了一种简单而有效的特征级数据合成策略，从而实现稳健的联合学习。在 V2S、VisualTTS 和联合生成基准上的大量实验表明，ViSSFlow 始终优于最先进的任务特定基线，同时为视频条件音频生成提供了统一解决方案。代码和演示见补充材料。
| 评论： | 论文审稿中 |
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；声音（cs.SD） |
| 引用为： | arXiv:2509.24773 [eess.AS] |
| （或此版本的 arXiv:2509.24773v5 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2509.24773 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Xin Cheng [查看邮箱]
[v1]
2025年9月29日 星期一 13:38:24 UTC（2,910 KB）
[v2]
2025年9月30日 星期二 05:16:17 UTC（2,910 KB）
[v3]
2026年3月10日 星期二 03:06:55 UTC（2,315 KB）
[v4]
2026年3月20日 星期五 03:36:49 UTC（2,315 KB）
[v5]
2026年11月2日 星期一 02:53:41 UTC（1,283 KB）
来源：arXiv cs.CL · arxiv.org