跳到正文
AWS Machine Learning Blog· Suyin Wang·· 2 小时前AI 评分43

Amazon Polly Generative 引擎重大升级:新增 14 种语音、支持印地语和芬兰语

Amazon Polly delivers a major upgrade to its Generative engine

AI 导读

Amazon Polly Generative 引擎完成升级,新增 14 种语音、覆盖 9 个 locale,并首次正式提供印地语和芬兰语生成式语音,语音总数达 57 种、覆盖 11 种语言和 25 个 locale。

正文 · AI 翻译

Amazon Polly 生成式引擎现在提供更自然、更准确的语音输出。我们正在对 Amazon Polly 生成式引擎 进行升级,以低延迟提供更具表现力、更准确的语音输出。此次升级新增了 14 种新声音,覆盖 9 个地区,其中包括首次正式推出印地语和芬兰语的生成式声音。此次升级现已在生产环境中正式可用。

重要的是,这是对现有生成式声音的无缝升级。声音名称和 API 调用保持不变,因此您现有的应用程序可以像现在一样继续工作。

Amazon Polly 是一项完全托管的 AWS 服务,可将文本转换为听起来自然的语音,适用于联络中心、基于大型语言模型 (LLM) 的智能体应用、媒体和娱乐、在线学习、无障碍以及其他需要大规模可靠语音输出的应用。

听听差异

您可以使用示例音频直接评估这些改进。

  • The more natural, authentic, and expressive voices. Hear how Tiffany welcomes you in a delightful tone.
    • “嗨!我是 Tiffany,Polly 的生成式声音之一。我的声音被设计得自然、富有表现力,还带点愉悦感。我们聊点什么好呢?”
  • Accurate speech generation for numbers, currency, addresses, and so on. Kenneth reads back an order confirmation, including the tracking number, date and time, currency and address accurately.
    • “感谢您的来电。您的订单号 4471 9902 将于今天发货至 85 Harbor View Drive, Apartment 4B, Portland, Oregon 97209。预计将于 10 月 22 日星期四上午 9 点至下午 1 点之间送达。您的总金额为 $1,284.50,确认码为 K-7-Q-2-X-9。”
  • Net new languages. Arjun and Kiara for Hindi, and Suvi for Finnish. Hindi and Finnish are generally available for the first time on the Amazon Polly Generative engine.
    • Arjun: नमस्कार, आप सुन रहे हैं आज की मुख्य ख़बरें। देश के कई हिस्सों में मानसून की विदाई के साथ मौसम सुहाना हो गया है। (你好,您正在收听今天的头条新闻。随着季风在全国大部分地区退去,天气变得宜人。)
    • Kiara: नमस्ते! मेरा नाम कियारा है। आइए, आज मैं आपको एक छोटी सी कहानी सुनाती हूँ。(你好!我叫 Kiara。来吧,今天让我给你讲一个小故事。)
    • Suvi: Majakanvartija ei ollut nähnyt laivaa yhteentoista päivään. Sitten, vähän puolenyön jälkeen, horisontissa välähti yksi ainoa valo. Kerran. Kahdesti. Ja sitten, uskomatonta kyllä, se vilkutti takaisin hänen nimensä. (灯塔看守人已经十一天没有看到船了。然后,就在午夜过后不久,地平线上闪烁着一盏孤灯。一次。两次。然后,不可思议的是,它闪烁出了他的名字。)
  • Different styles of speech delivery based on textual context. Powered by the new Amazon Polly Generative engine, the voices can reflect emotion and prosody even better based on the text input, without manual setup.
    • Neutral: “你的包裹提前到了。”
    • Uncertainty: “所以,嗯……你的包裹提前到了。我想?”
    • Surprised: “等等,什么?你的包裹提前到了?”

新声音、语言和区域可用性

  • Amazon Polly 生成式引擎的整体目录更大 – 共计 57 种生成式声音,覆盖 11 种语言和 25 个地区。
  • 14 种新声音,覆盖 9 个地区 – 美式英语(Kenneth、Nate)、澳大利亚英语(Russell、Curtis)、印度英语(Kiara、Arjun)、德语(Tina)、美式西班牙语(Carlos)、巴西葡萄牙语(Leo、Carolina)、韩语(Hyunduk)、印地语(Kiara、Arjun)和芬兰语(Suvi)。
  • 生成式引擎中正式可用的净新增语言 – 印地语和芬兰语。
  • 区域扩展至 AWS GovCloud (US-West) – 共计 11 个 AWS 区域。

为企业生产就绪的语音工作流而构建

升级后的 Amazon Polly 生成式引擎使用标准的 Amazon Polly API 调用来构建您的语音应用程序。借助 Amazon Polly,您可以继续使用熟悉的 AWS 模式进行构建:调用相同的 Amazon Polly API,使用 AWS Identity and Access Management (IAM) 管理访问权限,在现有应用程序和联络中心流程中使用输出,并监控为客户合成语音的工作负载。

此次发布旨在提升您通过现有 Amazon Polly 实现所能听到的语音输出质量。无需更改代码即可获得升级后的声音。对于已使用 Amazon Polly 生成式声音的应用程序,升级将就地完成。对于新应用程序,相同的 SynthesizeSpeech API 可让您访问更大的生成式声音目录。借助双向流式 API StartSpeechSynthesisStream,您可以将文本流式传输到 Amazon Polly,并同时接收合成音频。这非常适合语音代理和游戏中的定制角色等实时应用。

有竞争力的性价比

Amazon Polly 生成式引擎以按需付费的方式提供有竞争力的定价。通过此次模型升级,您可以在相同价格下获得改进的语音质量和准确性。没有成本增加,没有新的 SKU,也无需更改现有集成。您可以缓存并重放合成的静态提示,无需额外费用。有关完整的成本信息,请参阅Amazon Polly 定价。

Amazon Polly 生成式引擎现在可提供更自然、更具表现力的语音,同时为实时应用提供低延迟流式传输、用于精细控制的语音合成标记语言 (SSML) 支持,以及完全托管的 AWS 服务的运营可靠性。质量、性能和成本效率的结合支持广泛的生产用例。

您可以构建的内容

联络中心。准确性在客户服务对话中最为重要。当来电者查询订单时,能够正确读出跟踪号、地址和确认码的语音有助于通过自助服务解决通话,而不是升级到人工代理。Amazon Polly 生成式声音准确的实体发音和低延迟生成使自动交互式语音应答 (IVR) 交互听起来更具对话感。

级联语音代理。在语音代理框架中使用 Amazon Polly,您可以将 LLM 响应文本转换为清晰、自然的语音,并通过 WebSockets 或电话渠道近乎实时地流式传输回用户。这使得实时对话语音成为可能。主要优势是低延迟播放、高可扩展性和成本效率。

媒体、本地化和配音。将脚本转换为视频、广告、播客、产品概述和有声读物的成品音频。您可以使用一个或多个声音,无需录音棚会话。更自然的语调可减少后期制作。扩展的语言区域覆盖范围(包括首次推出的生成式印地语和芬兰语)意味着您可以从同一流程将单一内容本地化到更多市场。

电子学习和培训。大规模旁白课件、入职培训知识和基于知识的文章,并在源文本更改后立即更新。无需重新录制。更具表现力的表达有助于通过长篇材料保持参与度。

无障碍性。为文章、文档和应用程序提供清晰、自然的口语版本,让更多人可以通过聆听来获取你的内容:朗读、在移动中收听,或使用屏幕阅读器。

交互式和事务性体验。为游戏、自助终端、IVR 菜单和 IoT 设备启用语音功能,并按需生成响应。当语音需要听起来自然,并可靠地朗读姓名、数字、产品详情、地址和确认信息时,请使用 Amazon Polly。

“在 Sanoma Media Finland,我们使用 Amazon Polly 将实时新闻文章转换为音频,让听众可以选择在更适合自己的时候收听。如今,我们每月使用 Polly 的芬兰语神经语音发布超过 10,000 篇文章。根据我们的测试,Suvi 的新生成式语音相比之前的神经语音有明显改进——听起来明显更自然,也为听众带来更愉悦的体验。”

— Justus Reinikainen,Sanoma Media Finland 产品经理

开始使用

你可以使用 AWS 管理控制台、AWS 命令行界面(AWS CLI)或 AWS SDK 访问这些新语音。

先决条件:

  • 拥有可访问 Amazon Polly 的有效 AWS 账户。
  • 已安装并配置 AWS 命令行界面(AWS CLI)。
  • Python 3.10+。
  • 已安装 Boto3:pip install boto3。
  • AWS Identity and Access Management(IAM)权限:polly:SynthesizeSpeech。

以下是一个使用 AWS SDK for Python(Boto3)、SynthesizeSpeech API 和生成式语音的快速示例:

import boto3

polly = boto3.client("polly", region_name="us-east-1")

response = polly.synthesize_speech(
    Text="Hello! This is Amazon Polly's next-generation generative voice.",
    VoiceId="Kenneth",  # any generative voice in the catalogue
    Engine="generative",
    OutputFormat="mp3",
)

with open("speech.mp3", "wb") as f:
    f.write(response["AudioStream"].read())

你也可以使用 AWS CLI 发出同样的请求:

aws polly synthesize-speech \
  --region us-east-1 \
  --voice-id Kenneth \
  --engine generative \
  --output-format mp3 \
  --text "Hello! This is Amazon Polly's next-generation generative voice." \
  speech.mp3

要以编程方式获取完整的最新语音列表,请调用 DescribeVoices。你可以在部署检查中使用它,以确认所选的生成式语音在应用程序运行的区域中可用。

可用性

下一代生成式引擎和新语音现已正式可用。14 种新的生成式语音可在以下 AWS 区域使用:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)和 AWS GovCloud(美国西部)。按受众划分的开始使用方式:

  • 开发者 – 在现有应用程序中使用 Engine="generative" 调用 synthesize_speech。无需其他更改。
  • 联络中心团队 – 这些改进会自动应用到 Amazon Connect 和 Genesys 流程中。
  • 所有人 – 在 Amazon Polly 控制台中访问任意语音。

需要了解几点:

  • 标准语音和神经语音不受影响。
  • 生成式语音不支持语音标记(与目前相同)。如果你的应用程序需要语音标记,标准语音和神经语音仍继续支持。
  • 生成式引擎继续支持 SSML 标签。有关更多详细信息,请参阅支持的 SSML 标签。
  • 在运行时使用当前可用的语音。跨区域部署时,请调用 DescribeVoices 或查看控制台。

结论

Amazon Polly 的新一代生成式引擎今日正式可用,带来更自然、更准确的语音,新增 14 种声音,其中包括首次正式可用(GA)的印地语和芬兰语生成式语音,且无需更改您的代码。有关定价信息,请参阅 Amazon Polly 定价页面。要开始使用,请打开 Amazon Polly 控制台 试用这些语音,并参阅 Amazon Polly 文档 使用它们进行构建。


关于作者

Suyin Wang

Suyin Wang

Suyin 是 AWS 的高级生成式 AI 解决方案架构师。她拥有多年构建数据驱动和机器学习应用以解决实际问题的经验。她乐于帮助客户识别需要解决的正确问题,并构建能创造业务价值的生成式 AI 解决方案。业余时间,她喜欢唱歌,或在厨房里尝试新食谱。

Gosia Brylowska

Gosia Brylowska

Gosia 是 Amazon IMAX Polly 的项目经理。她在新闻、市场营销和音视频制作领域拥有近 20 年经验,并在项目与产品管理方面拥有超过 10 年经验(最近 7 年在 Amazon TTS)。Gosia 每天都致力于将工程目标转化为客户愉悦,追求卓越。工作之外,你可以看到她在遛狗,或第 100th 次观看《星际迷航:下一代》…… 或者和朋友在斯里兰卡某处冲浪观光——这个人,你永远猜不到。

Nikie Xiong

Nikie Xiong

Nikie 是 Amazon Polly 的高级技术产品经理。她在 AI、语音技术以及将创新产品从想法推向发布方面拥有 10 多年经验,覆盖消费者和企业领域。凭借产品设计和媒体娱乐制作的背景,她擅长打造让客户愉悦的产品。工作之外,她创作互动艺术,并喜欢 techno 音乐。

来源:AWS Machine Learning Blog · aws.amazon.com