arXiv cs.AI· Yu Chen, Ruihang Liu, Yangguang Xu, Xinyue Jiang, Mohammed Bennamoun, Farid Boussaid, Xinyuan Qian, Qiuhong Ke·· 9 天前AI 评分22
SAVU-Bench：面向空间音视频理解的真实世界基准
SAVU-BENCH: A Real-World Benchmark for Spatial Audio-Visual Understanding
AI 导读
研究者推出 SAVU-Bench，一个覆盖三个能力层级、七项评测任务的空间音视频理解真实世界基准，并配套 SAVU-Diag 诊断集，将推理问题拆解为前置的定位与对齐子任务。对 12 个代表性模型的评测显示，视觉空间定位已相对成熟，涉及音频的空间感知仍是主要瓶颈；多数推理错误与前置任务失败同时出现。基于此提出的免训练证据增强基线 SAVU-EA 显著改善空间定位与联合匹配，但高层空间推理仍具挑战。
正文 · AI 翻译
摘要：空间视听理解要求模型不仅能识别存在什么，还要识别事件发生在哪里以及它们如何跨模态关联。现有基准通常依赖模拟场景，评估孤立的空间技能，并且对失败模式提供的诊断洞察有限。我们提出了 SAVU-Bench，一个真实世界基准，系统地评估跨三个能力层级和七项评估任务的空间视听理解。我们进一步提出了 SAVU-Diag，一个场景关联的诊断集，将推理问题分解为其前置的定位与对齐子任务。在 SAVU-Bench 上对 12 个代表性模型的评估表明，虽然视觉空间定位相对成熟，但涉及音频的空间感知仍然是主要瓶颈。SAVU-Diag 进一步表明，大多数推理错误与这些前置任务的失败同时出现，尽管即使前置任务被正确解决，推理差距仍然存在。受这些发现的启发，我们提出了 SAVU-EA，一个免训练的证据增强基线，使空间线索更加明确。虽然 SAVU-EA 大幅提升了空间定位和联合匹配，但高层空间推理仍然具有挑战性。我们的发现凸显了对稳健空间音频感知和跨模态空间关系更深层整合的迫切需求。
| 评论： | 审稿中 |
| 学科： | 声音 (cs.SD)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.10624 [cs.SD] |
| （或 arXiv:2610.10624v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10624 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yu Chen [查看邮箱]
[v1]
2026年10月7日星期三 08:55:27 UTC（16,232 KB）
来源：arXiv cs.AI · arxiv.org