arXiv cs.CL· Ajinkya Kulkarni, Sandipana Dowerah, Atharva Kulkarni, Tanel Alum\"ae, Mathew Magimai Doss·· 14 小时前AI 评分38
RAPTOR 受控研究:紧凑 SSL 骨干是否足以支撑音频深度伪造检测
Do Compact SSL Backbones Matter for Audio Deepfake Detection? A Controlled Study with RAPTOR
AI 导读
研究提出 RAPTOR——基于成对门控融合的紧凑 SSL 骨干受控研究,在 14 个跨域基准上评测 HuBERT 与 WavLM 变体。结果显示多语言 HuBERT 预训练是跨域鲁棒性的主要来源,使 100M 参数模型可匹敌更大规模及商用系统。研究还引入带扰动不确定性估计的测试时增强协议,发现 WavLM 变体在扰动下过度自信、校准失准,而迭代 mHuBERT 保持稳定。
正文 · AI 翻译
摘要:自监督学习(SSL)是现代音频深度伪造检测的基础,然而此前大多数工作都集中于单一的大型 wav2vec2-XLSR 骨干网络,对紧凑型骨干网络的研究仍不充分。我们提出 RAPTOR,即用于域外识别的表征感知成对门控 Transformer,这是一项在统一的成对门控融合检测器内对来自 HuBERT 和 WavLM 的紧凑型 SSL 骨干网络进行的受控研究,并在 14 个跨域基准上进行了评估。我们表明,多语言 HuBERT 预训练是跨域鲁棒性的主要驱动因素,使 100M 模型能够与更大的模型和商业系统相媲美。除 EER 之外,我们引入了一种测试时增强协议,结合基于扰动的偶然不确定性,以揭示标准指标无法察觉的校准差异:WavLM 变体在扰动下表现出过度自信的校准偏差,而迭代式 mHuBERT 则保持稳定。这些发现表明,驱动可靠音频深度伪造检测的是 SSL 预训练轨迹,而非模型规模。
| 主题: | 声音(cs.SD);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2603.06164 [cs.SD] |
| (或 arXiv:2603.06164v2 [cs.SD] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2603.06164 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Ajinkya Kulkarni [查看电子邮件]
[v1]
2026年3月6日星期五 11:16:55 UTC(315 KB)
[v2]
2026年10月25日星期日 14:58:36 UTC(315 KB)
来源:arXiv cs.CL · arxiv.org