Edge0 发布 0.6B 语音克隆 TTS 模型 Audio8-TTS-Realistic，支持 23 种语言并采用 Apache 2.0 开源
Edge0 发布开源 TTS 模型 Audio8-TTS-Realistic，601M 参数，可从 1 条参考音频和转录文本零样本克隆声音，支持 23 种语言，权重和代码以 Apache 2.0 发布。
MarkTechPost· Asif Razzaq·2026-10-30 13:02· 2 小时前AI 评分52
Edge0 发布 Audio8-TTS-Realistic，一款 0.6B 语音克隆 TTS 模型
AI 导读
Edge0 发布开源加权 TTS 模型 Audio8-TTS-Realistic，601M 参数，可从 1 条参考音频和转录文本零样本克隆声音，支持 23 种语言，权重和代码以 Apache 2.0 发布。
正文 · 原文
Edge0 已发布 Audio8-TTS-Realistic，一款用于零样本语音克隆的开源权重文本转语音模型。Audio8-TTS-Realistic 是一个 0.6B 参数模型，可从 1 条参考音频和转录文本克隆声音。它支持 23 种语言，比前代多 12 种。权重和代码以 Apache 2.0 发布。对开发者而言，关键在于它以易于低成本微调和部署的规模，提供了有竞争力的多语言准确度。
TL;DR
- 规模：主模型 601M 参数（不含编解码器）；上下文最多 2,048 个打包的文本/音频位置。
- 运行环境：推荐使用 CUDA GPU；已在 NVIDIA H20 上以 BF16 进行冒烟测试。论文报告在 Apple M2 CPU（INT4 ONNX）上峰值内存为 1.1 至 1.2 GiB。目前尚无公开的 Realistic ONNX 导出。
- 性能：在 CV3 上领先于更大的开源模型，在 MiniMax 上落后于 4B 级模型。
- 最佳：9 种语言的平均 CV3 错误率为 4.86%，而 Qwen3-TTS-1.7B 为 7.73%。
- 最差：泰语（CV3）WER 为 48.57%，粤语（MiniMax）CER 为 31.35%。
什么是 Audio8-TTS-Realistic？
它是 Edge0 的 Audio8 TTS 系列中第二个 0.6B 版本。它基于 Audio8-TTS-Preview-0.6b 构建，并保持相同的 Transformers 推理接口。该仓库打包了检查点、44.1 kHz 神经音频编解码器、分词器、处理器和自定义代码。它也可以在没有参考声音的情况下生成语音。
新增语言包括阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语。
架构如何工作？
该模型采用受 Fish Audio S2 Pro 启发的双自回归（DualAR）设计。根据技术研究报告，慢分支基于 Qwen2.5 0.5B 构建。它有 24 层，宽度为 896，运行速度约为每秒 21.5 帧。每一步预测文本 token 以及第一个音频码本。
随后，一个浅层 4 层快速分支并行预测其余 9 个码本。因此，顺序计算只发生在帧级别。
Edge0 如何为真实感进行训练？
团队认为，词错误率（WER）和说话人相似度（SIM）忽略了节奏、停顿和时序。一个模型可能在这两项上得分很高，但听起来仍然很合成。
训练分 3 个阶段进行：
- 多语言监督微调（SFT）。
- 使用组合奖励的 GRPO：WER 权重 0.7，SIM 权重 0.3。
- 由学习到的真实感评判器引导的 GRPO。
该评判器将每个输出与同一句话的匹配人类录音进行评分。它是在由 6 个开源 TTS 系统构建的质量阶梯上训练的。这些系统在一项私下盲听研究中进行了排名，人类录音位居榜首。合成停顿压缩为阶梯增加了更细的层级。
身份擦除损失可阻止评判器奖励生成器指纹。评判器头在冻结的 WavLM-large 编码器之上约有 3M 参数。当超过参考长度的 1.35 倍时，还会触发时长惩罚。这阻止策略通过更慢的语速来欺骗评判器。
最后阶段仅使用中英文提示。它仍然提升了 13 种低资源语言的两项汇总指标。其错误率从 22.53% 降至 20.77%，SIM 从 0.637 升至 0.679。
它在基准测试上表现如何？
以下所有数字均为自报错误率，越低越好。
- Seed-TTS（英文/中文）：平均错误率 1.25%，SIM 0.704。
- CV3（9 种语言）：平均错误率 4.86%，SIM 0.661。
- MiniMax（24 种语言）：平均错误率 5.89%，SIM 0.754。
在 CV3 上，Audio8 优于 VoxCPM2（5.35%）、CosyVoice3-1.5B（6.89%）和 Qwen3-TTS-1.7B（7.73%）。在 MiniMax 上，Qwen3-TTS-1.7B 得分为 27.41%，但它官方仅支持 24 种测试语言中的 10 种。
更大的模型在其他方面仍然领先。Higgs TTS 3 在 CV3 上报告 4.41%，在 MiniMax 上报告 2.74%。Qwen3-TTS-1.7B 在 Seed-TTS 上平均为 1.01%。Edge0 自己称其表格为参考对比，因为评估流程和文本归一化存在差异。
它与其他开源 TTS 模型相比如何？
| 特性 | Audio8-TTS-Realistic | Qwen3-TTS-12Hz-1.7B-Base | VoxCPM2 | Higgs TTS 3 |
|---|---|---|---|---|
| 规模 | 0.6B（不含编解码器） | 1.7B | 2B | 约 4B 主干 |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | 研究与非商业用途 |
| 语言 | 23 | 10 | 30 | 100+ |
| 输出采样率 | 44.1 kHz | 未披露 | 48 kHz | 24 kHz |
| Seed-TTS 英文 WER | 1.46% | 1.24% | 1.84% | 未披露 |
| Seed-TTS 中文 CER | 1.03% | 0.77% | 0.97% | 未披露 |
| CV3 平均错误率（9 种语言） | 4.86% | 7.73%（Boson AI 评估） | 5.35% | 4.41% |
| MiniMax 平均错误率（24 种语言） | 5.89% | 27.41%（Boson AI 评估） | 未披露 | 2.74% |
| 注明的硬件 | CUDA GPU；论文中使用 INT4 M2 CPU | GPU、FlashAttention 2 | 约 8 GB 显存 | 1x H100 服务测试 |
VoxCPM2 的 CV3 平均值由其逐语言表格计算得出。
如何部署它？
安装 PyTorch 2.5+ 和 Transformers 4.57+，然后使用 trust_remote_code=True 加载。语音克隆需要干净的参考音频及其精确转写文本。GitHub 仓库还提供了 CLI、批处理和监督微调脚本。
对于 GPU 服务，SGLang Omni 适配器提供分页注意力、动态批处理和兼容 OpenAI 的 /v1/audio/speech API。Edge0 指出吞吐量和流式传输未进行基准测试。免费的 Playground 运行在 Hugging Face ZeroGPU 上。
关键要点
- 601M 参数，23 种语言，Apache 2.0 权重。
- 学习到的真实感评判器驱动最终的 GRPO 阶段。
- 4.86% 的 CV3 错误率优于 Qwen3-TTS-1.7B 和 VoxCPM2。
- 4B 级 Higgs TTS 3 仍在 CV3 和 MiniMax 上领先。
- 低资源语言仍然较弱，泰语 WER 接近 49%。
查看论文、模型权重、仓库和示例。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等？联系我们
文章 Edge0 发布 Audio8-TTS-Realistic，一款 0.6B 语音克隆 TTS 模型 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news