统一评测套件量化语音-文本模态差距

Ju-Chieh Chou、Jiawei Zhou 与 Karen Livescu 提出一套基于 flow matching 的统一生成式评测套件，在匹配的数据分布和生成设置下对比纯语音、纯文本与语音-文本语言模型，以量化语音-文本语言模型的模态差距。 结果显示，联合语音-文本建模显著提升语义连贯性，音素级指标变化有限，说话人相似度与预测质量反而下降，情感分布指标改善。该语音-文本模型在基于转录的语义连贯性上缩小了与更大规模纯语音模型的 scaling 差距，作者据此认为文本为语音语言建模提供了高效的语义训练信号。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。