arXiv cs.AI· Zhisheng Zhang, Yifan Mi, Yixuan Zhou, Haiyun Li, Shengbo Cai, Dongfu Song, Ziang Xu, Jie Hao, Zhiyong Wu·· 1 天前AI 评分31
语音 tokenizer 存在语义级脆弱性：T-SemAttack 可迁移攻击与 ROSETok 鲁棒 tokenizer
Speech Tokenizers are Vulnerable: Transferable Semantic Attack and Robust Tokenizer
AI 导读
研究发现语音 tokenizer 在语义层面存在脆弱性，微小扰动即可破坏其语义编码并显著降低下游 ASR 与 LALM 性能。为此提出基于语义编码器集成的可迁移攻击 T-SemAttack，在保持感知质量的同时扰乱语音语义内容，并在 9 个开源及黑盒 ASR 系统与 4 个 LALM 上验证了强迁移攻击效果。
正文 · AI 翻译
摘要：语音分词器作为语音前端，将输入的语音信号编码为表示，供下游模型使用，例如自动语音识别（ASR）系统和大规模音频语言模型（LALM）。本文发现，语音分词器在语义层面较为脆弱：微小的扰动即可破坏其语义编码过程，进而导致下游 ASR 和 LALM 性能严重下降。为研究这一脆弱性，我们提出 T-SemAttack，一种基于语义编码器集成的可迁移语义攻击。通过联合漂移多个语义编码器的表示空间，T-SemAttack 在保持感知质量的同时有效破坏语音的语义内容，从而诱导出错误特征。我们进一步分析了逐层表示漂移和跨模型梯度对齐。研究结果表明，扰动可在深层语义表示中引发显著偏移，且不同替代编码器的输入梯度呈现方向对齐。这些观察表明，输入空间中共享的对抗敏感方向可能是跨模型攻击可迁移性的关键因素。基于此，我们提出 ROSETok，一种鲁棒的语音分词器，将噪声训练与鲁棒语义蒸馏相结合，以提高重建保真度和下游 SpeechLLM 的鲁棒性。在多个数据集、9 个开源和黑盒 ASR 系统以及 4 个 LALM 上的大量实验表明，T-SemAttack 实现了强大的可迁移攻击性能，而所提出的鲁棒语音分词器在高保真重建和下游任务中表现出鲁棒性。我们的代码和演示见 此 https URL。
| 注释： | 被 NeurIPS 2026 接收 |
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI）；密码学与安全（cs.CR）；声音（cs.SD） |
| 引用为： | arXiv:2611.14929 [eess.AS] |
| （或本版本的 arXiv:2611.14929v1 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2611.14929 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhisheng Zhang [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 02:33:00 UTC（4,550 KB）
来源：arXiv cs.AI · arxiv.org