arXiv cs.CL· Michael Whealing, Robert Gaizauskas, Thomas Hain·· 10 小时前AI 评分20
非对称对应学习 ACL：将 HuBERT 特征蒸馏为词汇与风格嵌入，并用声学特征解读潜在空间
Asymmetric Correspondence Learning for Lexical and Style Embeddings: Interpreting Latent Space via Acoustic Features
AI 导读
研究提出非对称对应学习（ACL），通过分离潜在空间的对应瓶颈将 HuBERT 特征蒸馏为声学词嵌入（AWE）和声学风格嵌入（ASE）。在单词语音上，AWE 空间呈现紧密的词汇聚类（AP≈0.90，Fisher≈6.28），ASE 空间线性探测说话人准确率达 97.9%，但仍保留大量线性不可恢复的词汇方差（Fisher≈0.86，0.17%）。
正文 · AI 翻译
摘要：自监督语音嵌入同时编码了词汇、说话人和韵律信息，使特征隔离变得复杂。我们提出非对称对应学习（ACL），通过分裂潜在对应瓶颈将 HuBERT 特征蒸馏为独立的声学词嵌入（AWEs）和声学风格嵌入（ASEs）。通过对单词话语进行探测和聚类评估，我们证明尽管线性探测表明信息已被剥离，但每个潜在空间中仍编码着来自外部来源的大量方差。AWE 空间表现出内聚的词汇聚类（AP$\approx$0.90，Fisher$\approx$6.28），而 ASE 空间上的线性探测在弥散拓扑（Fisher$\approx$1.01）下达到 97.9\% 的说话人准确率，但仍保留了大量词汇方差（Fisher$\approx$0.86），且这些方差在线性上不可恢复（0.17\%）。为解释这些发现，我们对 eGeMAPS 声学特征应用组级置换特征重要性，发现 AWEs 按声道滤波器划分，而 ASEs 按 $F_0$ 动态划分。这些发现表明，标准诊断基准可能不足以验证特征隔离，因为即使语音结构完全隐藏于探测之下，大量语音结构仍可被保留。
| 评论： | 已被 Spoken Language Technology 2026 接收。6 页 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2611.09313 [cs.CL] |
| （或 arXiv:2611.09313v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09313 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michael Whealing Mr [查看电子邮件]
[v1]
2026年11月6日星期五 11:04:58 UTC（1,119 KB）
来源：arXiv cs.CL · arxiv.org