arXiv cs.CL· Karl El Hajal, Mathew Magimai. -Doss·· 10 小时前AI 评分26
OLIVE：面向语音 SSL 的波形重建视图增强潜在预测框架
OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL
AI 导读
OLIVE 是一个联合优化分析与合成目标的自监督语音表示学习框架，在单一编码器内实现掩码潜在预测与波形重建的功能分离。据称它是首个直接重建波形、在预训练后保留声码器且在判别任务上保持竞争力的语音 SSL 模型。加入重建基本保持了纯掩码潜在预测的语音识别性能，同时提升波形重建与说话人任务表现。
正文 · AI 翻译
摘要：我们提出 Online Latent prediction with Invariant Views and rEconstruction（OLIVE），这是一个自监督语音表示学习框架，联合优化分析与合成目标。OLIVE 通过单一编码器内的功能分离，将掩码潜在预测与波形重建耦合起来：重建约束早期编码器特征以保留信号级信息，而掩码潜在预测则塑造后期上下文表示，以获得稳健的下游性能，波形视图增强则定义了它们所学到的不变性。据我们所知，OLIVE 是首个直接重建波形、在预训练后保留其声码器、并在判别任务上保持竞争力的语音 SSL 模型。加入重建在很大程度上保留了仅使用掩码潜在预测时的语音识别性能，同时改善了波形重建和说话人任务。加入波形 mixup 和增益增强提供了一种可控方式，使表示进一步偏向说话人、生成和重建任务，同时在识别和语义任务上保持竞争力。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2606.30356 [cs.CL] |
| （或此版本的 arXiv:2606.30356v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.30356 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Karl El Hajal [查看电子邮件]
[v1]
2026年6月29日星期一 14:24:19 UTC（1,240 KB）
[v2]
2026年11月3日星期二 23:41:47 UTC（1,247 KB）
来源：arXiv cs.CL · arxiv.org