arXiv cs.AI· Yisi Liu, Nicholas Lee, Gopala K. Anumanchipalli·· 12 小时前AI 评分38
StyleStream 2.0：快速可控的流式语音风格转换
StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion
AI 导读
StyleStream 2.0 将流式语音风格转换的端到端延迟降至消费级 GPU 上的 520ms，较 1.0 版本提速 2 倍且保持转换质量。新框架移除 mel 频谱上下文，改用紧凑风格嵌入，并训练统一的文本条件流匹配模型，支持文本语音设计与指令式语音编辑。该工作在 VSC、语音设计和语音编辑上取得最强的目标风格保真度，已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：语音风格转换（VSC）旨在将源语音转换为匹配目标音色的语音，同时保留语言内容。StyleStream 1.0 引入了首个可流式处理的零样本 VSC 系统，具有最先进的转换质量，但在两个方面仍存在局限：在消费级硬件上端到端延迟约为 1 秒，以及缺乏用于设计或编辑目标语音的基于文本的界面。我们提出 StyleStream 2.0，一个快速且可控的流式 VSC 框架，解决了这些局限。为降低延迟，我们训练了一个少步像素 MeanFlow 模型，并受 Self Forcing 启发，用自回归反馈进一步微调它，提高了流式推理下的鲁棒性。这将消费级 GPU 上的端到端延迟降至 520 毫秒，相比 StyleStream 1.0 提速 2 倍，同时保持转换质量。为实现可控的风格操作，我们移除了梅尔频谱上下文，转而通过紧凑的风格嵌入来传递目标风格信息。在该嵌入空间中，我们训练了一个统一的文本条件流匹配模型，支持基于文本的语音设计（将自然语言提示映射到语音风格）和基于指令的语音编辑（修改源语音的特定属性而保留其余部分）。实验表明，StyleStream 2.0 在 VSC、语音设计和语音编辑上实现了最强的目标风格保真度，同时在可懂度和非编辑属性保留方面保持竞争力。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28940 [cs.SD] |
| （或 arXiv:2610.28940v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28940 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yisi Liu [查看电子邮件]
[v1]
2026年10月20日星期二 21:34:02 UTC（640 KB）
来源：arXiv cs.AI · arxiv.org