Audible 团队用可控 TTS 与 BookLLM 改进有声书语音合成

Amazon Science·2026-10-23 23:20· 22 分钟前AI 评分44

为有声书提供更好的语音合成

AI 导读

Audible 技术团队用可控 TTS 合成有声书，通过自然语言语音描述控制对白表达，角色对白区分度在 MUSHRA 测试中提升 3.7 分。其 BookLLM 组件自动识别书中角色并标注对白，在 25 本英西语书籍上角色识别准确率分别为 97% 和 94%。在英西语测试中，十种声音里有八种听感获得统计显著改善。

正文 · 原文

文本转语音系统——即将书面文本转换为合成语音——在聊天机器人和虚拟助手等交互仅持续数秒的应用中展现出令人印象深刻的自然度。但在处理长篇内容时，它们往往表现不佳。例如，应用于有声书时，传统文本转语音（TTS）模型无法像人类朗读者那样可靠地在角色之间切换说话风格。这给听众带来两个问题：（1）区分旁白与对话；（2）识别哪句台词由哪个角色说出。为解决这一问题，Audible 技术团队采用了可控 TTS，即通过自然语言语音描述（例如“用热情、高亢的声音说话”）来控制对话表达方式的能力。这使 TTS 模型能够利用大语言模型（LLM）的深度文本理解能力来合成高质量语音。我们的方法包含三项关键创新。第一，我们开发了一种新颖的数据合成流水线，用于生成带有高质量语音特征描述标注的语音数据。基于这些数据训练，使我们的模型能够理解描述，并在推理时生成与描述一致的音频。第二，我们构建了一个系统，可自动分析书中角色并以 97% 的准确率识别其对话。它还为这些对话提供描述，充当模型的舞台指示。第三，我们利用前两项技术合成了具有鲜明角色声音的有声书，在 MUSHRA（多刺激隐藏参考与锚定）测试中将对话区分度提升了 3.7 分，该测试是一种标准化方法，听众按 0 到 100 分评估音频质量。在英语和西班牙语的测试中，我们观察到十种声音中有八种在聆听体验上取得了统计显著的提升。有声书 TTS 合成语音中的细微缺陷，如不自然的韵律或单调的表达，在短时间内容忍度较高，但随时间推移会越来越刺耳——而有声书听众每本书要连续听同一声音 10 到 15 小时。这就是现成 TTS 模型往往无法生成令人愉悦、自然的有声书朗读的原因。此外，通用 TTS 模型设计用于处理上下文极少的单个话语。在回答“今天天气怎么样？”这类问题时，这是合理的方法，但对于有声书而言则不够，因为叙事连贯性依赖于理解周围的故事情境。朗读对话的 TTS 模型需要知道说话者是面对反派的 protagonist，还是闲聊的次要角色，这些信息可能只在更早的章节中才有。最后，通用模型难以在整本书的跨度内以一致且自然的方式生成角色声音，往往使同一角色在第一章和第十章中的声音明显不同。可控文本转语音 I. 数据合成流水线 传统 TTS 模型基于文本-语音对训练，而可控 TTS 模型还需要描述语音听感的标注。训练集中的语音还需要高度富有表现力，覆盖模型必须控制的广泛维度——音高、语速、角色声音、情感、说话风格等。以往的 TTS 模型无法处理这种表现力，因此大多数现有训练数据的语调都是中性的。我们通过两种方法扩展了训练集：新录音和对现有音频数据的人工标注。虽然有一些数据集包含韵律特征描述，但每个数据集都有自己的描述格式：有的长，有的短，有的使用单一标签。这限制了模型输入的灵活性，并往往使模型过拟合特定数据集的格式。为提高泛化能力，我们使用 LLM 将原始提示改写为不同格式，改变长度、详细程度和结构（单一标签 vs. 自由形式的自然语言）。其次，人在回路的数据收集流程无法扩展到我们所需的数据集规模。因此，我们用大量合成数据补充收集的数据。我们采用两种方法：1. 专家模型流水线。该方法使用专家模型和信号处理算法（如音高提取、语速提取和情感检测）从音频数据中提取数值特征。然后我们将这些特征和分类标签输入 LLM 以生成语音描述。2. 语音描述器。我们开发了一个执行与可控 TTS 相反任务的模型：它接收语音并输出韵律特征描述。使用该语音描述器，我们可以标注更大量的数据。我们将标注数据用作种子数据来训练初始可控 TTS 模型，也用它继续训练语音描述器本身。然后我们使用这些模型生成合成数据，并迭代改进两者，形成合成数据飞轮。II. BookLLM：适配有声书领域 有声书领域对可控 TTS 系统提出了额外挑战，因为不同角色需要拥有鲜明但一致的声音。为此，我们开发了 BookLLM，这是一个独立组件，利用现成 LLM 识别独特角色，并利用书中的信息——例如年龄、性别、性格和角色定位——来定义其声音特征。然后，模型确定哪个角色在何处说话，并为对话添加描述其应如何说出的标注。我们在 25 本悬疑、科幻和言情类型的英语和西班牙语书籍上评估了 BookLLM。我们使用两名人工标注员收集了真实标注。在英语和西班牙语中，该系统在识别哪个角色在何处说话（包括区分旁白与对话）方面分别达到了 97% 和 94% 的准确率。III. 整合所有环节 将两个组件结合，形成完整的有声书合成流水线。给定一本新书，BookLLM 首先阅读全文以构建角色列表：确定独特角色，按重要性排序，并为每个角色推导声音描述。它不会凭空创造无限多的声音，而是从精选声音目录中为每个角色分配一个独特的声音档案，刻意最大化最突出角色之间的对比度，以便听众能够区分它们。次要角色和一次性角色回退到默认旁白，避免大量几乎不用的声音泛滥。然后，BookLLM 遍历全书，将每一段归属于一个说话者——旁白或特定角色——并为每句对话撰写描述其应如何表达的标注，例如“紧张地低语”或“愤怒地喊叫”。这些标注正是可控 TTS 模型训练时所遵循的自然语言语音描述。在合成时，每个文本单元连同其说话者的声音档案以及必要时的舞台指示标注一起传递给 TTS 模型。由于角色的声音档案在书籍层面固定一次，模型从头到尾一致地呈现该角色，避免了通用模型声音漂移的倾向，即同一角色在第一章和第十章中声音不同。逐行标注则在此基础上叠加了每时每刻的表现力。最终生成的完整有声书中，角色声音鲜明、一致且富有表现力，从而提供更愉悦的聆听体验。

来源：Amazon Science · amazon.science