arXiv cs.AI· Kaitlyn Zhou, Federico Bianchi, Martijn Bartelds, Anna Pot, Yongchan Kwon, James Zou·· 10 天前AI 评分41
研究发现语音"克隆"实为风格迁移，而非忠实复制
Voice "Cloning" is Style Transfer
AI 导读
一项 NeurIPS 2026 研究指出，广泛使用的语音克隆模型并非忠实"克隆"个人声音，而是对源声音系统性地施加风格迁移。人类标注者认为克隆声音比原声更具权威感、亲和力和客服感，信任度更高，也更愿意向其透露敏感个人信息。研究还发现克隆导致口音、语速和音频嵌入空间方差缩小，造成说话人特征同质化。
正文 · AI 翻译
摘要：人工生成的语音正日益融入日常生活。尤其是语音克隆，使得身份保真至关重要的应用成为可能，例如补全录音、以新语言配音，或保留失语者的声音。然而，在我们的研究中，我们发现尽管名为“克隆”，语音克隆并未忠实地“克隆”个人的声音。相反，我们发现广泛使用的语音克隆模型会系统性地对源声音施加风格迁移。根据人类标注者的评分，与源声音相比，克隆声音被认为更具权威感、更温暖、更像客服、更像真人。人类标注者还表示，相比源声音，他们更信任克隆声音，也更愿意向其披露敏感个人信息。我们的研究进一步表明，语音克隆会导致说话人特征的同质化，其表现为口音、语速以及音频嵌入空间中的方差减小。总之，我们的结果凸显了语音克隆技术的一系列新局限与风险，及其对人类行为的潜在影响。
| 评论： | NeurIPS 2026 |
| 主题： | 声音 (cs.SD)；人工智能 (cs.AI)；人机交互 (cs.HC)；机器学习 (cs.LG) |
| 引用为： | arXiv:2605.16578 [cs.SD] |
| （或本版本的 arXiv:2605.16578v4 [cs.SD]） | |
| https://doi.org/10.48550/arXiv.2605.16578 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kaitlyn Zhou [查看邮箱]
[v1]
2026年5月15日星期五 19:32:28 UTC（3,515 KB）
[v2]
2026年5月20日星期三 16:52:07 UTC（3,515 KB）
[v3]
2026年5月26日星期二 19:32:15 UTC（3,515 KB）
[v4]
2026年10月6日星期二 01:15:52 UTC（3,518 KB）
来源：arXiv cs.AI · arxiv.org