arXiv cs.CL· Dawei Han, Shidong Li, Shijia Liao, Jiahua Liu, Songting Liu, Qingzheng Wang, Yuxuan Wang, Xin Chen, Yifan Cheng, Tianyu Li, Gangin Park, Xuehao Yang, Chang Zeng, Haoyang Zhang, Ruoyi Zhang, Xiangyu Zhang·· 3 天前AI 评分60
Fish Audio Drama 3 技术报告：35B MoE 开源语音生成模型
Fish Audio Drama 3 Technical Report
AI 导读
Fish Audio Drama 3 是一个开源语音生成模型，基于 35B 参数的 MoE 主干、每个 token 激活 3B 参数，可将文本转为带表演指导的语音。
正文 · AI 翻译
作者：Dawei Han、Shidong Li、Shijia Liao、Jiahua Liu、Songting Liu、Qingzheng Wang、Yuxuan Wang、Xin Chen、Yifan Cheng、Tianyu Li、Gangin Park、Xuehao Yang、Chang Zeng、Haoyang Zhang、Ruoyi Zhang、Xiangyu Zhang
摘要：我们推出 Fish Audio Drama 3，这是一个开源语音生成模型，可将文本转化为有导演指导的表演，基于 350 亿参数的混合专家骨干网络构建，每个 token 激活 30 亿参数。它可从多个参考中克隆声音，遵循自然语言指导，在下一轮给出提示时修订某次录制，为多角色场景配音，通过填充编辑现有语音，并合成长篇和流式音频。多轮修订、场景配音、填充编辑和流式文本输入是 Drama 3 的新功能，全部集成在一个模型中。Drama 3 将混合线性注意力骨干网络与新的码本多 token 预测音频解码器配对，该解码器在专用层中预测每一帧的声学码本，这些层关注整个序列。该模型采用三阶段预训练配方、指令微调以及大批量强化学习进行训练，其唯一奖励是单一的学习得到的人类偏好模型。其推理引擎在单块 H200 上以每秒 271 帧的速度解码单个流，而 Fish Audio S2 为 177 帧，尽管 Drama 3 的参数数量是后者的七倍多。模型权重可在 GitHub（此 https URL）和 Hugging Face（此 https URL）上获取，推理可通过 SGLang-Omni（此 https URL）使用。我们强烈鼓励读者访问 此 https URL 来导演自己的表演。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18010 [cs.SD] |
| （或 arXiv:2610.18010v2 [cs.SD] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.18010 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qingzheng Wang [查看电子邮件]
[v1]
2026年10月13日星期二 09:06:28 UTC（698 KB）
[v2]
2026年10月14日星期三 09:28:32 UTC（698 KB）
来源：arXiv cs.CL · arxiv.org