arXiv cs.AI· Marios Glytsos, Brian McFee·· 9 天前AI 评分22
音频嵌入中还剩多少音频？音频编码器的反演审计
How Much Audio Is Left In An Embedding? An Inversion Audit Of Audio Encoders
AI 导读
研究通过配对源重建审计音频编码器保留的信息：用共享的 Stable Audio Open 潜在扩散解码器，从 VGGish、ConvNeXt、CLAP 和 EnCodec 的冻结表征重建 5 秒、44.1-kHz 立体声音乐。
正文 · AI 翻译
摘要：预训练音频编码器会被复用于下游任务，而这些任务在编码器训练时往往未知，因此其有用性部分取决于哪些信号属性在预训练目标中得以保留。我们通过配对源重建来研究这些保留下来的信息。使用共享的 Stable Audio Open 潜在扩散解码器，我们从监督分类器（VGGish、ConvNeXt）、音频-文本对比模型（CLAP）和波形重建模型（EnCodec）产生的冻结表示中重建五秒、44.1-kHz 立体声音乐。这些目标对保留源细节施加了不同的压力，而它们暴露的接口在时间和频谱分辨率上差异很大。在 Million Song Dataset（MSD）上评估时，我们发现不同编码器系列之间的可重建性存在明显差异，而编码器内部比较显示，当暴露更精细的时间或频谱结构时，恢复效果有所改善。即使是压缩的任务导向嵌入，也支持保留可测量的源特异性和高层音乐内容的重建。
| 评论： | ICASSP 2027 投稿；5 页，2 图，2 表 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12250 [cs.SD] |
| （或使用 arXiv:2610.12250v1 [cs.SD] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.12250 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Marios Glytsos [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 16:24:41 UTC（280 KB）
来源：arXiv cs.AI · arxiv.org