arXiv cs.AI· Haoze Ma, Yidi Li, Yu Ma, Pengyuan Zhao, Yi Shi, Bin Ren, Yanwen Guo, Dimitrios Kanoulas·· 11 小时前AI 评分18
BiSID-AVS：用双耳音频消歧同类别发声实例的视听分割方法
Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation
AI 导读
BiSID-AVS 通过引入双耳音频的耳间差异提供声源方向空间约束，将类别级候选响应逐步细化为真实发声实例的掩码，解决多个同类别候选共存时难以识别发声实例的问题。在双耳扩展的 AVS-Synthetic 基准和面向机器人室内感知的 Habitat-AVS 数据集上，该方法在多候选子集上实例级 mIoU 分别提升 35.19 和 41.21 个百分点，并显著减少非发声同类别区域的误激活。
正文 · AI 翻译
摘要：现有的音视频分割方法主要预测与声音相关的区域或类别掩码，当多个同类候选目标同时存在时，往往无法识别出发声实例。近期的音视频实例分割方法解决了实例级预测问题，但在很大程度上依赖运动与跨帧关联，在观测稀疏或运动不显著时可能变得不可靠。为此，我们引入双耳音频，其双耳差异编码了声源方向信息，从而为在同类别视觉候选中区分发声实例提供空间约束。我们提出了用于音视频分割的双耳发声实例消歧方法（BiSID-AVS），它将类别级候选响应逐步细化为真实发声实例的掩码。BiSID-AVS 首先通过音频提示定位类别一致的候选区域，然后将双耳线索投影为图像平面的空间响应图，最后在特征级和解码器级通过双重空间条件细化真实发声实例。在双耳扩展的 AVS-Synthetic 基准和用于机器人室内感知的 Habitat-AVS 数据集上的实验表明，BiSID-AVS 在多候选子集上取得了最佳性能，实例级 mIoU 分别提升了 35.19 和 41.21 个百分点，同时大幅减少了对非发声同类区域的误激活。
| 评论： | 12 页，5 张图，含附录 |
| 主题： | 人工智能（cs.AI）；声音（cs.SD） |
| 引用为： | arXiv:2611.06074 [cs.AI] |
| （或 arXiv:2611.06074v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.06074 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoze Ma [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 07:18:41 UTC（3,701 KB）
来源：arXiv cs.AI · arxiv.org