arXiv cs.AI· Ye Lu, Shen Wang, Runze Liu, Zhitao Ou, Haonan Huang, Yihan Yan, Fanghui Sun, Zhaoyang Zhang·· 2 天前AI 评分42
从语音 Token 到被盗声音：攻击者指定文本的说话人模仿攻击
From Speech Tokens to Stolen Voices: Attacker-Chosen-Text Speaker Impersonation via Representation Inversion
AI 导读
研究者提出 STIA（Speech Token Inversion Attack），仅凭一段泄露的语音表征即可用受害者声音生成攻击者指定文本的语音，无需原始音频或转录文本。在 Moshi 表征泄露 3 秒语音的条件下，该方法平均 CAM++ 说话人余弦相似度达 0.78，目标文本词错误率为 3.80%。结果表明语音前端表征会泄露可复用的说话人身份信息，设计此类表征方法时需考虑隐私风险。
正文 · AI 翻译
摘要：语音交互系统已从以文本作为中间信息的传统级联系统，逐步演进为直接处理语音表示的端到端语音语言模型。在某些应用中，语音前端运行在用户设备上，并将语音表示发送到远程服务器进行推理，而原始音频仍保留在本地。然而，这些表示可能仍包含说话人身份信息。如果攻击者获取了这些信息，就可能利用其模仿用户的声音，从而威胁其语音隐私。为研究这一风险，我们提出了 \stia，一种语音令牌反演攻击，它利用单个短小的泄露表示，在无法访问原始音频或其转写文本的情况下，生成以受害者声音说出攻击者指定文本的语音。具体而言，\stia 将离散、连续或混合的语音表示转换为条件序列，并利用公开语音数据集中同一说话人的不同话语对，训练一个条件流匹配语音生成模型。该模型将泄露表示中包含的说话人特征与指定文本相结合，生成以受害者声音说出的语音。实验表明，在对应 3 秒语音的 Moshi 表示泄露情况下，\stia 实现了平均 CAM++ 说话人余弦相似度 0.78 和目标文本词错误率 3.80\%。这些结果表明，语音前端表示揭示了可复用的说话人身份信息，并凸显了在设计语音前端表示方法时考虑隐私风险的必要性。
| 学科： | 声音（cs.SD）；人工智能（cs.AI）；密码学与安全（cs.CR）；计算机视觉与模式识别（cs.CV）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.34688 [cs.SD] |
| （或 arXiv:2610.34688v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34688 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ye Lu [查看电子邮件]
[v1]
2026年10月26日星期一 01:24:54 UTC（218 KB）
来源：arXiv cs.AI · arxiv.org