arXiv cs.CL· Beimnet Bekele Guta, Xiaoyu Yang, Guangzhi Sun, Philip C. Woodland·· 9 天前AI 评分18
用路由稀疏自编码器解耦语音中的语言学与副语言学信息
Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
AI 导读
研究者将 TopK 稀疏自编码器与路由专属监督和跨因子对抗结合，在冻结的 SPEAR 和 WavLM 编码器上实现语言学与副语言学信息的分离：语言学信息在语言学路由中更强，说话人身份、情感、韵律等副语言学因素则保留在副语言学路由中并在语言学路由中大幅减少。
正文 · AI 翻译
摘要：自监督语音编码器在共享、纠缠的表示空间中包含语言和副语言信息。我们将 TopK 稀疏自编码器与路由特定监督和跨因子对抗相结合。在冻结的 SPEAR 和 WavLM 编码器上，独立探针显示出因子特定的保留和抑制：语言信息在语言路由中保持更强，而副语言因素（包括说话人身份、情感和韵律）在副语言路由中得以保留，并在语言路由中大幅减少。在 LibriSpeech 上学习到的路由组织在 MSP-Podcast 上无需表示端重新训练即可持续存在。特征空间路由干预进一步转移了交换的因子，同时基本保留了未改变路由所携带的信息。这些结果表明，在不同编码器、语料库、独立探针和表示级干预之间，路由选择性分离具有一致性。
| 评论： | 提交中 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.10865 [cs.CL] |
| （或 arXiv:2610.10865v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10865 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiaoyu Yang [查看电子邮件]
[v1]
2026年10月7日星期三 20:10:07 UTC（920 KB）
来源：arXiv cs.CL · arxiv.org