arXiv cs.CL· Jiapeng Shi, Qiuxia Hou, Jiaqi Leng, Junke Wang, Yanhao Zhang, Haonan Lu, Ziyi Ye, Zuxuan Wu·· 2 天前AI 评分23
EVA-Cap：通过事件中心对齐优化音视频字幕生成
EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment
AI 导读
EVA-Cap 框架将音视频字幕分解为原子级视听事件，把非结构化文本监督转化为事件中心对齐，通过 SFT 和 GRPO 在自建数据集 EVA-Data 上训练。GRPO 阶段围绕全局事件完整性、事件内归因和事件间同步三个目标优化。在 ChronusAV 上平均提升 9.0%，WorldSense 上提升 3.3%，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：全模态语言模型（OLM）的最新进展为视听视频字幕生成提供了统一的解决方案。然而，现有方法大多将字幕生成视为非结构化文本生成过程，忽视了视频固有的语义结构，导致细粒度视听对齐效果欠佳。为弥合这一差距，我们提出了 EVA-Cap，一种新颖的框架，将字幕分解为原子级视听事件，并将非结构化文本监督转化为以事件为中心的对齐。我们在自构建的数据集 EVA-Data 上通过监督微调（SFT）和组相对策略优化（GRPO）训练 EVA-Cap，该数据集以事件为中心进行质量控制。在 GRPO 阶段，模型针对三个以事件为中心的对齐目标进行显式优化：全局事件完整性、事件内归因和事件间同步。大量实验表明，EVA-Cap 在以事件为中心的评估中显著优于现有方法（例如，在 ChronusAV 上平均提升 +9.0%），同时在通用视听字幕基准上取得了有竞争力的性能（例如，在 WorldSense 上提升 +3.3%）。
| 评论： | 已被 NeurIPS 2026 接收。代码将在 此 https URL 发布 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22186 [cs.CV] |
| （或 arXiv:2610.22186v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22186 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiapeng Shi [查看邮箱]
[v1]
2026年10月15日星期四 16:42:11 UTC（3,085 KB）
来源：arXiv cs.CL · arxiv.org