arXiv cs.AI· Yuruo Wu, Kaihang Pan, Kai Shen, Jiacheng Li, Shuyuan Tu, Jisheng Dang, Li Tuoyu, Juncheng Li, Siliang Tang·· 2 天前AI 评分29
AVC-Reward：以事件为中心的音视频一致性评估框架
AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
AI 导读
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，研究者提出以事件为中心的一致性评估框架，在事件层面解耦音视频并跨模态交叉验证，聚合成粗到细的三级一致性指标。
正文 · AI 翻译
摘要：随着联合音视频生成模型的能力不断增强，它们能够生成展现三种复杂性形式的音视频场景：多事件组合、多层音频混合以及非对称跨模态关系。然而，当前的评估大多沿用早期简单且单向任务的指标。它们通常将整个音视频片段作为一个整体进行评估，并依赖简单的预定义关系，因此不适合这些日益复杂的场景。我们提出了一种以事件为中心的评估框架，该框架在事件层面将音频事件和视觉事件解耦，独立分析每个事件，跨模态交叉验证关系，并将判断聚合为从粗到细的三级一致性指标。该指标评估全局叙事和谐性、事件级时间同步以及细粒度属性对齐，为跨多种生成设置和跨模态关系的音视频一致性评估提供了通用公式。我们将该指标实例化为 AVC-Reward，一个可训练的音视频奖励模型。为了评估自动判断与人类感知在不同生成范式和关系复杂性下的一致性，我们构建了 AVC-Benchmark，它主要由各类音视频生成模型生成的各种正负样本构成。AVC-Reward 在自动方法中实现了与人类判断的最先进一致性，提供了可定位失败的可解释依据，并在用作在线强化学习信号时提升了联合生成模型的音视频一致性。项目页面：this https URL
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22321 [cs.CV] |
| （或 arXiv:2610.22321v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22321 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuruo Wu [查看电子邮件]
[v1]
2026年10月15日星期四 17:51:56 UTC（29,380 KB）
来源：arXiv cs.AI · arxiv.org