arXiv cs.AI· Longjie Luo, Zhongshu Hou, Yuepeng Li, Gang Yang, Shidong Shang, Fan Zhou·· 2 天前AI 评分20
CF-AVSS：面向真实世界 AVSE 挑战赛的由粗到细音视频语音分离框架
CF-AVSS: A Coarse-to-Fine Audio-Visual Speech Separation Framework with Target-Speaker Refinement and Post-Fusion for Real-World AVSE Challenge
AI 导读
CF-AVSS 是一个由粗到细的两阶段音视频语音分离框架，第一阶段用扩展至双同步视觉流的 SPAV-TFGridNet 生成视觉排序的粗估计，第二阶段用基于 TFGridNet 的目标说话人细化网络结合原始混合信号进一步提升质量，最后经开发集校准的融合输出。
正文 · AI 翻译
摘要：音视频语音增强（AVSE）利用视觉线索从受混响、噪声和重叠说话人干扰的混合信号中恢复目标语音。我们提出了一种由粗到细的两阶段 AVSE 框架。在第一阶段，将渐进式 SPAV-TFGridNet 扩展到两个同步的视觉流，通过逐步抑制干扰语音，同时保留目标混响和共享背景噪声，生成视觉排序的粗估计。在第二阶段，基于 TFGridNet 的目标说话人细化网络以原始混合信号和两个粗估计为输入，进一步恢复目标语音并提升信号质量。粗估计和细化估计最终通过开发集校准的融合进行组合。在 ISCSLP 2026 真实世界 AVSE 挑战赛中，我们的系统在赛道 1 中并列第一，在赛道 2 中 OVRL 排名第二，同时在两个赛道上分别取得了最低的 CER，为 12.31% 和 14.79%。
| Comments： | 被 ISCSLP 2026 接收 |
| Subjects： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21773 [cs.SD] |
| （或 arXiv:2610.21773v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21773 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhongshu Hou [查看电子邮件]
[v1]
2026年10月15日星期四 12:30:11 UTC（148 KB）
来源：arXiv cs.AI · arxiv.org