arXiv cs.AI· Hansol Park, Minkyung Song, Zinu Kim, Yujun Lee, Hoseong Ahn, Hyunjin Choi, Kyuhong Shim·· 12 小时前AI 评分31
Tap2Listen：面向流式音视频说话人提取的即时目标切换模型
Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction
AI 导读
Tap2Listen 是面向流式音视频目标说话人提取（AV-TSE）的模型，通过按模态拆分计算实现即时目标切换：与目标无关的音频编码器只处理混合音频，所选人脸的视觉线索只作用于解码器，切换仅需 0.12ms 重投影并立即生效。
正文 · AI 翻译
摘要：流式音视频目标说话人提取（AV-TSE）利用目标说话人的面部信息，从输入的音频混合中实时提取该说话人的语音。然而，现有系统在整个片段中将目标说话人固定不变，而对话场景需要频繁且即时的目标切换。为解决这一问题，我们提出 Tap2Listen，一种专为即时响应目标切换而设计的流式 AV-TSE 模型。该模型按模态分离计算：与目标无关的音频编码器仅处理混合音频，而所选人脸的目标特定视觉线索仅用于调节解码器。一次切换仅需 0.12ms 的重新投影即可立即生效。我们还设计了分组件损失：编码器的预测损失和解码器的监督提取损失。在评估中，我们衡量切换后输出质量的恢复速度。在标准 LRS3-2mix 测试集上，Tap2Listen 在参数量相当的情况下将 SI-SNRi 从 8.85 dB 提升至 9.68 dB。切换到已知人脸后，模型从第一帧起即可输出完整质量的结果，而基线需要约 1 秒才能恢复。最后，我们展示了所提出的流式 AV-TSE 模型可在单个 CPU 核心上实时运行。
| 评论： | NeurIPS 2026 端侧智能研讨会 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36643 [cs.SD] |
| （或 arXiv:2610.36643v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36643 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hansol Park [查看邮箱]
[v1]
2026年10月27日星期二 05:03:47 UTC（1,645 KB）
来源：arXiv cs.AI · arxiv.org