跳到正文
arXiv cs.AI· Bowen Zhang, Junchuan Zhao, Ian McLoughlin, Ye Wang, A S Madhukumar·· 3 天前AI 评分22

CodecFlow:在神经编解码器潜空间用条件流匹配实现高效带宽扩展

CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space

AI 导读

CodecFlow 是一个基于神经编解码器的语音带宽扩展(BWE)框架,在紧凑潜空间中完成高效语音重建,通过连续编解码器嵌入上的浊音感知条件流转换器和结构约束残差向量量化器提升潜空间对齐稳定性。端到端优化后,该框架在 8 kHz 到 16 kHz 及 44.1 kHz 语音 BWE 任务上实现了较强的频谱保真度和更优的感知质量。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语音带宽扩展通过为低带宽语音恢复/推断合适的高频内容,提升清晰度与可懂度。现有方法通常依赖频谱图或波形建模,这可能带来更高的计算成本,且高频保真度有限。神经音频编解码器提供紧凑的潜在表示,能更好地保留声学细节,但由于表示不匹配,准确恢复高分辨率潜在信息仍具挑战性。我们提出 CodecFlow,一种基于神经编解码器的 BWE 框架,可在紧凑的潜在空间中高效进行语音重建。CodecFlow 在连续编解码器嵌入上采用声态感知的条件流转换器,并使用结构约束的残差向量量化器,以提升潜在对齐的稳定性。经过端到端优化,CodecFlow 在 8 kHz 至 16 kHz 和 44.1 kHz 语音 BWE 任务上实现了强频谱保真度和增强的感知质量。
评论: 7 页,7 幅图
主题: 声音 (cs.SD);人工智能 (cs.AI)
引用为: arXiv:2603.02022 [cs.SD]
  (或使用 arXiv:2603.02022v3 [cs.SD] 查看此版本)
  https://doi.org/10.48550/arXiv.2603.02022

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Bowen Zhang [查看电子邮件]
[v1] 2026 年 3 月 2 日星期一 16:03:46 UTC(4,563 KB)
[v2] 2026 年 3 月 3 日星期二 06:49:12 UTC(4,563 KB)
[v3] 2026 年 10 月 11 日星期日 14:51:42 UTC(4,564 KB)

来源:arXiv cs.AI · arxiv.org