PhyAVBench：面向物理 grounded 文本到音视频生成的音频物理敏感性基准
PhyAVBench: A Challenging Audio Physics-Sensitivity Benchmark for Physically Grounded Text-to-Audio-Video Generation
PhyAVBench 是首个系统评估 T2AV、I2AV、V2A 模型音频物理 grounding 能力的基准，包含 25.5 小时、11,605 段视频的 PhyAV-Sound-11K 数据集，覆盖 6 个音频物理维度和 41 个细粒度测试点。
作者：Tianxin Xie、Wentao Lei、Kai Jiang、Guanjie Huang、Pengfei Zhang、Chunhui Zhang、Fengji Ma、Haoyu He、Han Zhang、Jiangshan He、Jinting Wang、Linghan Fang、Lufei Gao、Orkesh Ablet、Peihua Zhang、Ruolin Hu、Shengyu Li、Weilin Lin、Xiaoyang Feng、Xinyue Yang、Yan Rong、Yanyun Wang、Zihang Shao、Zelin Zhao、Chenxing Li、Shan Yang、Wenfu Wang、Meng Yu、Dong Yu、Li Liu
摘要：文本到音视频（T2AV）生成在电影制作和世界建模等应用中至关重要。然而，当前模型往往无法生成物理上合理的声音。此前的基准主要关注音视频时间同步，而在很大程度上忽略了对音频-物理基础（audio-physics grounding）的显式评估，从而限制了对物理上合理的音视频生成的研究。为解决这一问题，我们提出了 PhyAVBench，这是首个系统评估 T2AV、图像到音视频（I2AV）和视频到音频（V2A）模型音频-物理基础能力的基准。PhyAVBench 提供了 PhyAV-Sound-11K，这是一个包含 25.5 小时、11,605 个可听视频的新数据集，采集自 184 名参与者，以确保多样性并避免数据泄漏。它包含 337 个配对提示组，具有受控的物理变化以驱动声音差异，每组平均以 17 个视频为基础，涵盖 6 个音频-物理维度和 41 个细粒度测试点。每个提示对都标注了其声学差异背后的物理因素。重要的是，PhyAVBench 利用配对文本提示来评估这一能力。我们将这一评估范式称为音频-物理敏感性测试（APST），并引入了一种新指标——对比物理响应分数（CPRS），用于量化生成视频与其真实世界对应视频之间的声学一致性。我们对 17 个最先进的模型进行了全面评估。我们的结果揭示，即使是领先的商业模型也难以处理基本的音频-物理现象，暴露出音视频同步之外的关键差距，并指出了未来的研究方向。我们希望 PhyAVBench 能成为推进物理基础音视频生成的基础。提示、真实标注和生成的视频样本可在 此 https URL 获取。
| 评论： | 6 个主要物理维度、41 个细粒度测试点、337 组变量受控测试样本、11,605 个新录制视频 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.23994 [cs.SD] |
| （或 arXiv:2512.23994v5 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.23994 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Tianxin Xie [查看邮件]
[v1]
2025年12月30日星期二 05:22:31 UTC（3,620 KB）
[v2]
2026年4月7日星期二 11:35:10 UTC（17,164 KB）
[v3]
2026年4月8日星期三 05:21:59 UTC（17,164 KB）
[v4]
2026年5月18日星期一 09:30:21 UTC（17,164 KB）
[v5]
2026年10月11日星期日 06:54:11 UTC（16,686 KB）
来源：arXiv cs.AI · arxiv.org