arXiv cs.CL· Sezgin Saygili, Emre Kaplaner, Oncel Ozgul, Fikri San Koktas·· 10 小时前AI 评分31
Alania-2:支持即时与微调声音克隆的土耳其语 TTS 系统
Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning
AI 导读
Alania-2 是一个 488M 参数的土耳其语 TTS 系统,采用 VoxCPM 架构,在 18,195 小时土耳其语语音上从零训练,其中 90% 为更大教师模型生成的合成语音。
正文 · AI 翻译
摘要:我们提出 Alania-2,一个土耳其语文本转语音(TTS)系统,内置两个声音、支持根据文本描述设计声音,以及两种声音克隆方式。Alania-2 是一个 488M 参数的模型,采用 VoxCPM 架构,在语言模型主干之上通过扩散头生成连续的音频潜变量。我们使用 18,195 小时的土耳其语语音从头训练它,其中 90% 是由更大的教师模型生成的合成语音,并经过自动过滤。一个文本规范化器会将数字、缩写和外来人名改写为土耳其语使用者会说的词;没有它时,96 个含数字的测试句子中没有一个能在合成和语音识别过程中保留其全部关键部分(如金额或日期),而有它时为 86 个。在 Freya-TR-Eval 这一包含 495 个土耳其语句子、以自动语音识别评分的公开基准上,Alania-2 的词错误率为 1.44%,而我们之前的系统为 5.99%。在其内置声音上,它的字符错误率与一个 2.3B 参数模型相差不到半个百分点,而规模不到后者的四分之一;一个用相同配方训练的 7.6M 参数单声音模型,与我们测得的可懂度最高的系统相当,这表明训练数据对可懂度的影响比模型规模更大。我们还报告了关于声音克隆的实用发现:仅以参考音频作为条件,而不是继续它,可将跳词从 21.9% 降至 1.7%;20-30 秒的参考音频效果最佳;一个约两分钟训练的低秩适配器可将说话人相似度提升到远高于即时克隆的水平。最后,我们描述了推理引擎的改动,使单流的首段音频降至 32 ms。我们发布了评估工具和三个土耳其语语音与文本数据集。
| 评论: | 21 页,11 幅图,10 张表。评估工具和结果:此 https URL |
| 主题: | 计算与语言(cs.CL);声音(cs.SD) |
| 引用为: | arXiv:2611.13845 [cs.CL] |
| (或 arXiv:2611.13845v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.13845 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Sezgin Saygili [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 10:04:47 UTC(32 KB)
来源:arXiv cs.CL · arxiv.org