arXiv cs.AI· Dohwan Kim, Jung-Woo Choi·· 11 小时前AI 评分22
MG-REPA：面向生成式目标说话人提取的多粒度表示对齐
MG-REPA: Multi-Granularity Representation Alignment for Generative Target Speaker Extraction
AI 导读
MG-REPA 通过将隐藏状态在帧级对齐 SSL 模型、在 utterance 级对齐说话人验证模型，加速生成式目标说话人提取训练。在 Libri2Mix 上，达到 MeanFlow-TSE 基线同等 OVRL 和 PESQ 分别只需 3.0 倍和 2.1 倍更少 epoch；训练 750 epoch 即在侵入指标上媲美已发表 2000 epoch 基线，并提升非侵入指标。
正文 · AI 翻译
摘要：生成式目标说话人提取（TSE）模型能够实现高质量提取，但训练收敛速度相当慢。表示对齐（REPA）通过将隐藏状态与预训练的自监督学习（SSL）教师模型对齐，加速了扩散 Transformer 的训练。然而，语音和音频领域现有的对齐方法仅在单一粒度上运行。对于 TSE 而言，帧级对齐使目标语音的全局、时间不变特征变得隐式，而话语级对齐使随时间变化的内容变得隐式，尽管提取目标同时需要这两者。我们提出了多粒度表示对齐（MG-REPA），在帧级与 SSL 模型对齐隐藏状态，在话语级与说话人验证模型对齐。我们进一步对帧级目标应用时间归一化，去除其话语级统计量，使每个分支专注于各自的粒度。在 Libri2Mix 上，MG-REPA 分别以少 $3.0\times$ 和 $2.1\times$ 的轮数达到 MeanFlow-TSE 基线的 OVRL 和 PESQ。训练 750 轮后，它在侵入式指标上与已发表的 2,000 轮基线具有竞争力，同时改善了非侵入式指标。消融实验表明，MG-REPA 优于单一粒度对齐。
| 主题： | 音频与语音处理（eess.AS）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32161 [eess.AS] |
| （或 arXiv:2610.32161v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32161 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：DoHwan Kim [查看邮箱]
[v1]
2026年10月23日星期五 04:51:51 UTC（520 KB）
来源：arXiv cs.AI · arxiv.org