arXiv cs.AI· Yixuan Li, Xuenan Xu, Zeyu Xie, Mengyue Wu·· 3 天前AI 评分24
AlignAudio：面向噪声鲁棒语音条件生成的双对齐统一框架
AlignAudio: A Unified Dual-Alignment Framework for Noise-Robust Speech-Conditioned Generation
AI 导读
AlignAudio 是一个基于双重对齐的噪声鲁棒语音条件生成框架，通过对齐干净与含噪语音的表示保留语义线索，并在 flow matching 范式内强化生成级一致性。在语音到音频（STA）和语音转换（VC）任务上，它在干净语音下性能与基线相当，在多种噪声条件下显著优于基线。该双对齐策略适用于单流与多流语音条件，并可集成到不同的 flow matching 生成框架与后训练设置中。
正文 · AI 翻译
摘要：语音条件生成将语音信号映射到目标音频输出。此前的端到端语音条件生成模型在干净声学条件下实现了高保真度，但在环境噪声下性能大幅下降。尽管此前的噪声鲁棒方法在特征级净化方面取得了显著成功，但在干净和含噪条件下保持一致生成仍是一个关键挑战。为解决这一问题，我们提出 AlignAudio，一个基于双重对齐的噪声鲁棒生成框架：(i) 对齐干净语音和含噪语音的表示以保留语义线索，(ii) 在流匹配范式中强制生成级一致性以提高条件保真度。在语音到音频（STA）和语音转换（VC）任务上的实验表明，AlignAudio 在干净语音上保持与基线相当的性能，同时在各种噪声条件下显著优于它们。此外，所提出的双重对齐策略适用于单流和多流语音条件，并可集成到不同的基于流匹配的生成框架和训练后设置中。音频演示和定性比较：\href{this https URL}{\textcolor{cyan}{\textit{this https URL}}}。
| 学科： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14697 [cs.SD] |
| （或 arXiv:2610.14697v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14697 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yixuan Li [查看电子邮件]
[v1]
2026年10月10日星期六 08:15:57 UTC（5,375 KB）
来源：arXiv cs.AI · arxiv.org