arXiv cs.CL· Ju-Chieh Chou, Jiawei Zhou, Karen Livescu·· 10 小时前AI 评分31
量化语音-文本语言模型中的生成模态差距
Quantifying the Generation Modality Gap in Speech-Text Language Models
AI 导读
研究基于 flow matching 构建统一生成式评测套件，在匹配数据和生成设置下对比纯语音、纯文本与语音-文本语言模型。联合语音-文本建模显著提升语义连贯性，音素级指标变化有限，说话人相似度与预测质量反而下降，情感分布指标改善。该语音-文本模型在基于转录的语义连贯性上缩小了与更大规模纯语音模型的 scaling 差距，表明文本为语音语言建模提供了高效的语义训练信号。
正文 · AI 翻译
摘要：纯语音语言模型在生成连贯内容方面往往落后于文本和语音-文本语言模型，但这一差距难以量化，因为语音系统和文本系统通常使用不同的指标进行评估，并在不同的数据上训练。我们在一系列基于流匹配生成连续声学特征的口语语言模型中研究了语音-文本模态差距。我们构建了一个统一的基于生成的评估套件，用于比较在匹配的数据分布上训练、并在匹配的生成设置下评估的纯语音、纯文本和语音-文本语言模型。我们从多个维度评估生成的续写内容：语义连贯性，通过转写生成的语音并用参考语言模型打分来衡量；局部语音结构，通过音素 n-gram 分布统计来衡量；说话人一致性和声学质量；以及基于情感的分布指标。跨数据集，我们发现联合语音-文本建模显著提升了语义连贯性。然而，这种提升在各指标上并不均匀：音素级指标仅有适度变化，语音-文本续写的说话人相似度和预测质量较低，而基于情感的分布指标有所改善。与更大规模的纯语音模型相比，我们的语音-文本模型在基于转写的语义连贯性上缩小了大部分规模差距，这表明文本为口语语言建模提供了高效的语义训练信号。
| 评论： | 已被 SLT 2026 接收，含附录的扩展版本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.14743 [cs.CL] |
| （或 arXiv:2609.14743v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.14743 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ju-Chieh Chou [查看邮箱]
[v1]
2026年9月13日周日 19:09:07 UTC（5,460 KB）
[v2]
2026年10月6日周二 00:36:51 UTC（5,517 KB）
[v3]
2026年11月10日周二 17:23:50 UTC（5,517 KB）
来源：arXiv cs.CL · arxiv.org