arXiv cs.AI· Yucong Liu, Qi Tian, Shuyuan Tu, Kaihang Pan, Weijie Kong, Chao Pan·· 10 小时前AI 评分31
CAST-Bench：多镜头音视频生成中追踪每个声音的来源
CAST-Bench: Tracing Every Sound to Its Source in Multi-Shot Audio-Video Generation
AI 导读
CAST-Bench 是一个面向多镜头音视频生成的基准，将 T2AV 正确性定义为“音视频契约”：每个请求的声音须由正确声源发出、与对应视觉动作同步并携带正确语义。
正文 · AI 翻译
摘要：现有的联合文本到音频-视频（T2AV）生成基准评估感知质量和视听对齐，但在平衡声源采样和按镜头结构分别报告方面仍然有限。这使得难以确定某个特定声音是缺失、归因于错误的声源，还是在镜头转换中丢失。为解决这一问题，我们推出了 CASTBENCH，这是一个旨在将多镜头音频-视频生成中每个生成的声音追溯至其预期声源的基准。其核心思想是将 T2AV 正确性表述为一种视听契约，即每个请求的声音必须由正确的声源发出、与相应的视觉动作同步，并携带正确的语义内容。具体而言，该基准将 900 条提示组织为 9 个声源类别，每类 100 条提示，涵盖语音、动物、乐器、环境声音及其他发声体类型。这些提示包括 439 条单镜头和 461 条多镜头叙事，每条均源自一个结构化规范，该规范将每个音频事件与其发声体、主体和时间槽位关联起来。该基准提供了一套包含 18 项指标的评估套件，涵盖三个维度：视觉表现、内容一致性和音频与语义对齐。我们进一步对 12 个代表性生成器进行了基准测试，发现领先系统的视觉质量已接近饱和，但音频语义得分仍存在显著差异。在九个共享模型上，多镜头提示在子集特定评分规则下获得较低的总体得分，并产生不同的模型排名。多人语音、跨镜头说话人身份一致性以及跨镜头事件保留仍是主要未解决的挑战。所有提示和评估代码均可在 此 https URL 获取。
| 评论： | 9 页，6 张图 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05422 [cs.SD] |
| （或 arXiv:2611.05422v1 [cs.SD] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.05422 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yucong Liu [查看邮箱]
[v1]
2026年11月2日星期一 08:41:48 UTC（14,463 KB）
来源：arXiv cs.AI · arxiv.org