arXiv cs.AI· Xuan Shi, Chang Zeng, Tiantian Feng, Ye Zhang, Jun Liu, Shih-Heng Wang, Lie Lu, Shrikanth Narayanan·· 11 小时前AI 评分34
Uni-Stream：统一流式语音语言模型，同时支持语音合成与识别
Uni-Stream: A Unified Streaming Speech Language Model for Speech Synthesis and Recognition
AI 导读
Uni-Stream 是一个基于紧凑预训练语音模型构建的统一流式语音语言模型，以流式方式处理交错的文本与语音，通过两阶段训练达到与任务专用模型相当的性能。研究团队还构建了面向流式训练的数据标注流水线，将公开生成的转写文本和词级时间戳。分析发现，即便在同一模型架构中训练，语音与文本仍处于不同的潜在特征空间，且各模态内部表征在较深层变得更依赖具体任务。
正文 · AI 翻译
摘要：统一流式语音语言模型旨在在单一模型中支持语音识别与合成，从而实现实时人机交互。然而，在保持任务特定性能的同时联合支持这两个方向的语音-文本转换仍具有挑战性。我们提出 Uni-Stream，一种基于紧凑预训练语音模型的统一流式语音语言模型。Uni-Stream 以流式格式处理交错的文本和语音，并通过两阶段训练达到与任务特定模型相当的性能。我们还开发了用于流式训练的数据标注流水线，并将公开发布生成的转写文本和词级时间戳。我们进一步考察了 Uni-Stream 在不同任务和模态下的表征，发现即使在统一的模型架构中训练，语音和文本仍位于不同的潜在特征空间，而每种模态内的表征在较深层变得更加依赖任务。
| 学科： | 音频与语音处理 (eess.AS)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.32187 [eess.AS] |
| （或 arXiv:2610.32187v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32187 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xuan Shi [查看邮箱]
[v1]
2026年10月23日星期五 05:32:28 UTC（224 KB）
来源：arXiv cs.AI · arxiv.org