arXiv cs.AI· Guanrou Yang, Tian Tan, Qian Chen, Zhikang Niu, Yakun Song, Ziyang Ma, Yushen Chen, Zeyu Xie, Tianrui Wang, Yifan Yang, Wenxi Chen, Qi Chen, Wenrui Liu, Shan Yang, Xie Chen·· 1 天前AI 评分34
WavCube：通过语义-声学联合建模统一语音理解与生成表征
WavCube: Unifying Speech Representation for Understanding and Generation via Semantic-Acoustic Joint Modeling
AI 导读
WavCube 是一种从 SSL 语音编码器提取的紧凑连续潜表征，同时支持语音理解、重建与生成。它采用两阶段训练：先训练语义瓶颈过滤扩散模型难以处理的冗余特征，再通过端到端重建注入细粒度声学细节，并用语义锚定损失保持语义流形。
正文 · AI 翻译
作者：Guanrou Yang、Tian Tan、Qian Chen、Zhikang Niu、Yakun Song、Ziyang Ma、Yushen Chen、Zeyu Xie、Tianrui Wang、Yifan Yang、Wenxi Chen、Qi Chen、Wenrui Liu、Shan Yang、Xie Chen
摘要：整合语音理解与生成是构建统一语音模型的关键一步。然而，这两项任务所需的表征不同，目前存在显著的兼容性挑战。通常，面向语义的特征通过自监督学习（SSL）获得，而面向声学的特征则来自重建。这种割裂的表征阻碍了真正统一语音系统的实现。我们提出 WavCube，一种源自 SSL 语音编码器的紧凑连续潜变量，可同时支持语音理解、重建与生成。WavCube 采用两阶段训练方案。第一阶段训练语义瓶颈，以滤除使原始 SSL 特征难以用于扩散的离流形冗余。第二阶段通过端到端重建注入细粒度声学细节，同时语义锚定损失确保表征仍锚定在其原始语义流形内。综合实验表明，尽管维度压缩了 8 倍，WavCube 在 SUPERB 上的性能仍接近 WavLM，重建质量与现有声学表征相当，零样本 TTS 性能达到最先进水平且训练收敛明显更快，并在 SUPERB-SG 基准的语音增强、分离和音色转换任务中表现出色。系统性消融实验揭示，WavCube 的两阶段方案解决了 SSL 特征用于生成建模时的两个固有缺陷，为未来统一语音系统铺平了道路。代码和检查点可在 此 https URL 获取。
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.06407 [eess.AS] |
| （或本版本的 arXiv:2605.06407v2 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2605.06407 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guanrou Yang [查看邮箱]
[v1]
2026年5月7日星期四 15:17:24 UTC（675 KB）
[v2]
2026年11月11日星期三 09:58:10 UTC（274 KB）
来源：arXiv cs.AI · arxiv.org