arXiv cs.AI· Aditya K Surikuchi, Raquel Fern\'andez, Sandro Pezzelle·· 3 天前AI 评分25
多模态基准何在？基础模型识别视频精彩片段的能力研究
Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Highlights in Videos
AI 导读
研究构建了一个基于公开足球精彩集锦的新数据集，用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现，它们无法可靠捕捉上下文重要性，倾向于依赖单一主导模态，且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。
正文 · AI 翻译
摘要：基础模型被用于许多涉及从时序多模态事件中进行语言理解与生成的真实世界应用。在这项工作中，我们研究模型识别视频中最重要子事件的能力，这是对多模态事件进行摘要、推理或叙述的基本前提。具体而言，我们聚焦于足球比赛，并评估模型区分比赛中重要与非重要子事件的能力。为此，我们利用公开可用的足球精彩集锦构建了一个新数据集，这些集锦包含根据专业专家认定的一场比赛最重要的时刻，且无需任何额外标注成本。使用我们的数据集，我们比较了若干最先进的多模态模型，并表明它们无法可靠地捕捉上下文重要性。超越标准评估指标的模型分析揭示了它们倾向于依赖单一主导模态，以及在综合多来源必要信息方面的低效。我们的发现强调了能够动态适应多模态异质性的模块化架构的重要性，以及最大化跨模态协同的互补训练流程的必要性。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2601.16333 [cs.CV] |
| （或 arXiv:2601.16333v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.16333 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Aditya K Surikuchi [查看电子邮件]
[v1]
2026年1月22日星期四 21:40:08 UTC（2,294 KB）
[v2]
2026年3月5日星期四 09:51:43 UTC（2,283 KB）
[v3]
2026年10月13日星期二 13:11:47 UTC（2,559 KB）
来源：arXiv cs.AI · arxiv.org