arXiv cs.CL· Long-Vu Hoang, Naomi Harte·· 9 天前AI 评分23
鸡尾酒会场景下的音视频轮次转换预测
Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios
AI 导读
研究评估了在干净数据上训练的音视频预测轮次转换模型（PTTM）在基于 AVCocktail 数据集构建的鸡尾酒会测试平台上的表现，发现噪声条件下音频和视觉模态性能一致下降，加权 F1 最多相对下降 38%。在新领域上微调可提升鲁棒性，但增益因模态而异，并取决于可用预训练数据的规模。所有代码和轮次标注已公开。
正文 · AI 翻译
摘要：当前预测性轮次转换模型（PTTM）在声学条件受控、音频信号干净的基准测试中表现优异。它们在存在重叠语音和背景干扰的对话中的泛化能力仍未被充分探索。在本研究中，我们评估了用干净数据训练的音频-视觉 PTTM 在基于 AVCocktail 数据集构建的具有挑战性的鸡尾酒会测试平台上的表现，并分析了它们对新领域的适应行为。实验结果表明，在噪声条件下，音频和视觉模态的性能均持续下降，加权 F1 相对下降最高达 38%。在新领域上进行微调可提高鲁棒性，但提升幅度因模态而异，并取决于可用预训练数据的规模。这些发现揭示了音频和视觉模态在泛化与适应能力上的差异，并表明需要鲁棒的建模策略以适应噪声中人类交互的复杂性。所有代码和轮次标签均已公开，以促进进一步研究。
| 评论： | 被 IEEE SLT 2026 接收。本版本包含一个关于 AVCocktail 人工验证标签的附录 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.17056 [cs.SD] |
| （或 arXiv:2609.17056v3 [cs.SD] 用于本版本） | |
| https://doi.org/10.48550/arXiv.2609.17056 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vu Hoang [查看电子邮件]
[v1]
2026年9月15日星期二 12:06:16 UTC（9,287 KB）
[v2]
2026年10月1日星期四 22:22:55 UTC（9,287 KB）
[v3]
2026年10月8日星期四 14:32:08 UTC（9,287 KB）
来源：arXiv cs.CL · arxiv.org