arXiv cs.CL· Yuanzhong Zheng, Wei Huang, Ming Ma, Kailun Jin, Youhai Jiang·· 12 小时前AI 评分31
闭环双参考引导：跨语言语音克隆中的口音控制
Closed-Loop Dual-Reference Guidance for Accent Control in Cross-Lingual Voice Cloning
AI 导读
研究提出闭环双参考引导方法，将原始参考语音与经语音转换构建的可复用母语锚点配对，分别初始化独立的语言模型状态以引导共享声学轨迹。在20名留出法语说话人上，固定设置 λ*=0.33 使残留法语 LID 质量较直接克隆降低 73%，ECAPA 相似度仅损失 0.042，平均 WER 为 0.009、平均 GOP 为 4.750，均为测试组最优。
正文 · AI 翻译
摘要：零样本跨语言声音克隆往往会把参考说话人的口音带入目标语言。我们提出闭环双参考引导方法，将原始参考与通过声音转换（VC）构建的可复用母语锚点配对。这些参考分别初始化独立的语言模型（LM）状态，用以引导共享的声学轨迹；每完成一个片段后，两个状态都会更新，使其生成历史与已输出的语音保持对齐。锚点构建对每位说话人只运行一次，在线合成使用冻结的 TTS 模型，无需逐句进行 VC。在 20 位留出的法语说话人上，固定设置 $\lambda^{\!*}=0.33$ 相比直接克隆将残余法语 LID 质量降低 73\%，而 ECAPA 相似度仅损失 $0.042$；相对于仅使用锚点克隆，它恢复了 $0.155$。在留出测试组中，该方法取得了最低的平均 WER（$0.009$）和最高的平均 GOP（$4.750$）。在盲测偏好测试中，英语母语听者在发音自然度上更偏好该方法而非直接克隆，在说话人身份上则更偏好该方法而非仅使用锚点克隆和 TTS$\to$VC 级联。在线 RTF 比级联低约 26\%（$0.59$ 对 $0.80$），且同一设置无需重新调参即可将西班牙语 LID 质量降低 56\%。
| 主题： | 声音（cs.SD）；计算与语言（cs.CL）；机器学习（cs.LG）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.29351 [cs.SD] |
| （或 arXiv:2610.29351v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29351 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanzhong Zheng [查看电子邮件]
[v1]
2026年10月21日星期三 07:46:22 UTC（1,417 KB）
来源：arXiv cs.CL · arxiv.org