arXiv cs.CY· Xudong Tang, Matthew Groh·· 10 小时前AI 评分42
VIPBench：语音克隆时代对齐人类感知的声纹识别基准
VIPBench: A Human-Aligned Benchmark for Voice Identity Perception in the Age of Voice Cloning
AI 导读
研究者提出 VIPBench，用 1,290 名听者对 100 位公众人物 9,800 对录音的 124,876 次“同人/不同人”判断，评估声纹模型与人类身份感知的对齐程度。
正文 · AI 翻译
摘要：说话人识别基准测试衡量模型恢复录音说话人标签的准确程度，将声音身份视为录音者本人的属性。然而，这些基准并不评估人类如何感知声音身份。听者是否将两个声音听成同一个人，对知识产权、网络安全和日常生活都有影响。我们提出了声音身份感知基准（VIPBench），其中包含来自 1,290 名听者对 100 位公众人物的 9,800 对录音做出的 124,876 个相同或不同判断。这些录音对包括真实录音、由文本转语音系统生成的语音克隆，以及两个说话人声音之间的变形。我们还定义了四项任务，用于评估说话人表征模型与人类身份感知之间的一致性。前两项任务衡量模型的相似度分数在多大程度上能预测回答“相同”的听者比例以及多数回答。另外两项任务衡量模型和听者是否认为相同的说话人录音对相似，以及模型与听者判断之间的关系是否同样适用于真实录音和合成录音。我们评估了十一个公开可用的语音模型。听者判断与说话人标签不一致的情况最常出现在语音克隆上：在 41% 的回答中，听者将同一说话人的克隆录音和真实录音判断为不同的人。没有模型达到噪声上限；最佳模型解释了 61% 的可解释方差。使用说话人标签训练的模型比自监督模型与听者的一致性更好，然而一个在说话人标签上错误率为 12% 的模型，其与听者的一致性却与错误率低于 2% 的模型相当。VIPBench 能够基于真实、克隆和变形语音，评估说话人模型与人类感知的一致性，我们的结果也表明有必要直接基于听者判断来训练说话人模型。
| 评论： | 已被 NeurIPS 2026 评估与数据集方向（海报）接收。30 页，12 幅图，22 张表。数据集与代码：此 https URL |
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；计算机与社会（cs.CY）；多媒体（cs.MM） |
| 引用为： | arXiv:2611.05638 [cs.SD] |
| （或 arXiv:2611.05638v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05638 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xudong Tang [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 21:21:59 UTC（2,502 KB）
来源：arXiv cs.CY · arxiv.org